정확성에서 유용성으로: LLM 추론을 위한 이득 기반 접두사 평가 (Gain-Based Prefix Evaluation)

요약

기존의 단계별 정확성 중심 평가에서 벗어나, 추론 접두사가 최종 문제 해결 확률을 얼마나 높이는지 측정하는 '접두사 이득(prefix gain)' 개념을 제안합니다. 이를 통해 학습된 PUM 모델은 수학적 추론 및 강화학습 과정에서 강력한 감독 신호를 제공합니다.

핵심 포인트

• 정확성 대신 최종 해결률 향상을 측정하는 접두사 이득 정의
• 결과 기반의 유용성을 학습하는 Prefix Utility Model(PUM) 제안
• Best-of-N, 빔 서치, 강화학습 등 다양한 추론 환경에서 성능 입증
• 희소한 보상 환경에서도 효과적인 접두사 수준 감독 신호 제공