Alex Wang은 추론을 토큰 공간의 경로 탐색으로 보고 강화학습이 개별 사고의 수렴이 아니라 정답에 닿는 경로의 총확률을 높인다고 설명했습니다. 정확한 검증기와 독립 표본을 가정하면 여러 답을 뽑는 best-of-k는 성공 가능성을 높이지만 한 경로를 길게 늘리는 것과는 다릅니다. 관련 s1 연구는 제한된 수학 평가에서 추가 사고가 도움이 됐으나 무제한 개선을 보장하지 않습니다. 최종 답만 보상하면 사고 설명의 충실성은 보장되지 않고 잘못된 검증기는 보상 해킹을 강화할 수 있습니다.