7B 모델이 671B 모델을 이겼다

요약

본 기사는 공식 정리 증명 분야에서 작은 규모의 7B 모델이 훨씬 큰 671B 모델을 능가하는 성과를 보여준 사례를 다룹니다. 이러한 성능 향상의 핵심 원인은 단순히 데이터 양 증가가 아니라, 비대칭 자기 플레이(asymmetric self-play) 과정에서 발생하는 보상 해킹 루프 문제를 해결했기 때문입니다. 스탠포드 연구진이 RL 스케일링의 한계를 극복한 방법을 심층적으로 분석합니다.

핵심 포인트

• 공식 정리 증명 분야에서 모델 크기가 성능을 결정하는 절대적인 요소가 아님을 입증했습니다 (7B vs 671B).
• 성능 향상의 핵심은 데이터 양 증가보다 '비대칭 자기 플레이' 과정의 근본적인 문제 해결에 있습니다.
• 연구진은 RL(강화 학습) 스케일링이 정체되는 지점(plateau)을 돌파하는 새로운 방법을 제시했습니다.
• 보상 해킹 루프(reward hacking loop)를 수정하는 것이 모델 성능 최적화의 중요한 열쇠임을 보여줍니다.