언어 모델 추론 성능 향상을 위한 구두 과정 감독(VPS) 기법

요약

본 논문은 대규모 언어 모델(LLM)의 추론 능력을 향상시키기 위해 '구두 과정 감독(Verbal Process Supervision, VPS)'이라는 새로운 프레임워크를 제안합니다. VPS는 외부의 강력한 슈퍼바이저가 제공하는 구조화된 자연어 비평을 활용하여 반복적인 생성-비평-개선 루프를 수행하며, 이는 훈련이 필요 없는(training-free) 방식입니다. GPQA Diamond, AIME 2025 등 다양한 벤치마크에서 VPS는 기존 SOTA 대비 높은 성능 향상을 보여주었으며, 특히 비평의 세분성(granularity)이

핵심 포인트

• GPQA Diamond에서 GPT-5.4 모델은 R=4를 적용한 VPS를 통해 94.9%에 도달하여, 기울기 업데이트 없이 SOTA (94.1%)를 능가했습니다.
• AIME 2025 벤치마크에서 VPS는 약점 액터(weak-actor)의 점수를 11.7-26.7%에서 63.3-90.0%로 크게 끌어올렸습니다 (최대 +63.3점).
• VPS는 Reflexion 대비 +8.5~+12.1점, Self-Consistency@5 대비 GPQA에서 +5.0 pp, LiveCodeBench에서 +8.3 pp의 성능 향상을 입증하며 비평 세분성을 핵심 동인으로 제시했습니다.
• 성능은 슈퍼바이저와 액터 간의 역량 격차(capability gap)에 비례하여 증가하며, 언어적으로 표현 불가능한 오류(예: 코드 합성)에서는 성능 저하가 관찰되어 하이브리드 접근법을 시사합니다.