투표할 때, 다시 작성할 때: 테스트 시간 스케일링을 위한 불일치 유도 전략 라우팅

요약

본 논문은 대규모 추론 모델(LRMs)의 테스트 시간 스케일링 문제를 해결하기 위해 '출력 불일치'를 활용하는 새로운 프레임워크를 제안합니다. 기존 방법들이 계산량 증가에 의존했던 것과 달리, 이 접근법은 사례별로 출력을 분석하여 가장 적절한 추론 전략(예: 다수 투표, 재작성)을 동적으로 라우팅함으로써 효율성을 높입니다. 실험 결과, 샘플링 비용을 크게 줄이면서도 기존 방법 대비 높은 정확도 향상(3%-7%)을 달성했습니다.

핵심 포인트

• 기존의 테스트 시간 스케일링 기법들은 계산량 증가에 의존하여 어려운 사례에서 성능 개선 효과가 감소하는 한계가 있었습니다.
• 연구진은 '출력 불일치(output disagreement)'가 문제 난이도와 예측 정확성에 강한 상관관계가 있음을 발견했습니다.
• 제안된 프레임워크는 출력을 기반으로 여러 스케일링 전략 중 하나를 동적으로 선택하는 '사례 수준의 라우팅' 문제를 공식화합니다.
• 이 방법은 일관적인 사례에는 경량 해결, 중간 불일치에는 다수 투표, 높은 모호성에는 재작성을 적용하여 효율성과 정확도를 동시에 개선했습니다.