LLM-as-a-Verifier: 범용 검증 프레임워크

원문 발행 2026. 07. 07. 02:59원문 언어 영어AI 한국어 번역arXiv cs.LG 원문 보기

요약

LLM의 검증 능력을 새로운 확장 축으로 정의한 'LLM-as-a-Verifier' 프레임워크를 소개합니다. 이 방식은 이산적 점수 대신 로짓 분포의 기댓값을 활용한 연속적 점수를 생성하여 검증의 정밀도와 정확도를 높입니다. 다양한 벤치마크에서 SOTA 성능을 기록하며 에이전트 모니터링 및 강화학습 피드백으로도 활용 가능함을 입증했습니다.

핵심 포인트

검증(Verification)을 새로운 모델 확장 축으로 정의
로짓 분포 기반의 연속적 점수 생성으로 검증 세밀도 향상
반복 평가 및 기준 분해를 통한 검증 정확도 개선
Terminal-Bench V2 등 주요 벤치마크에서 SOTA 달성
강화학습(RL)을 위한 조밀한 피드백 제공 가능

사전 학습 (pre-training), 사후 학습 (post-training), 그리고 테스트 시간 연산 (test-time compute)을 확장하는 것은 LLM의 능력을 향상시키기 위한 핵심 패러다임이 되었습니다. 본 연구에서 우리는 솔루션의 정답 여부를 판단하는 능력인 검증 (verification)을 새로운 확장 축 (scaling axis)으로 정의합니다. 이를 실현하고 그 효과를 입증하기 위해, 우리는 추가적인 학습 없이도 에이전트 작업 (agentic tasks)에 대해 세밀한 피드백을 제공하는 범용 검증 프레임워크인 LLM-as-a-Verifier를 소개합니다. 후보 솔루션에 대해 이산적인 점수 (discrete scores)를 생성하도록 LLM에 프롬프트를 주는 표준적인 언어 모델 심사위원 (LM judges)과 달리, LLM-as-a-Verifier는 점수 토큰 로짓 (scoring token logits)의 분포에 대한 기댓값 (expectation)을 계산하여 연속적인 점수 (continuous scores)를 생성합니다. 이러한 확률적 공식화 (probabilistic formulation)는 검증이 다음의 여러 차원을 따라 확장될 수 있게 합니다: (1) 점수 세밀도 (score granularity), (2) 반복 평가 (repeated evaluation), (3) 기준 분해 (criteria decomposition). 특히, 우리는 점수 세밀도를 확장하는 것이 정답과 오답 솔루션 사이의 더 나은 분리를 이끌어내어, 결과적으로 더 정교하게 보정된 비교 (calibrated comparisons)를 가능하게 함을 보여줍니다. 또한, 반복 평가와 기준 분해를 확장하는 것은 분산 (variance) 및 복잡도 (complexity) 감소를 통해 검증 정확도에서 지속적인 이득을 가져옵니다. 우리는 더 나아가 검증기의 연속적인 점수를 사용하여 후보들 중 최적의 솔루션을 선택하기 위한 비용 효율적인 순위 지정 (ranking) 알고리즘을 소개합니다. LLM-as-a-Verifier는 Terminal-Bench V2 (86.5%), SWE-Bench Verified (78.2%), RoboRewardBench (87.4%), 그리고 MedAgentBench (73.3%)에서 최첨단 (state-of-the-art) 성능을 달성했습니다. 검증을 넘어, LLM-as-a-Verifier에서 나오는 세밀한 신호는 작업 진행 상황을 추정하기 위한 대리 지표 (proxy)로도 활용될 수 있습니다. 우리는 개발자들이 자신의 에이전트 시스템을 모니터링하고 개선할 수 있도록 Claude Code를 위한 확장 기능을 구축했습니다. 마지막으로, LLM-as-a-Verifier가 강화학습 (RL)을 위한 조밀한 피드백 (dense feedback)을 제공할 수 있음을 보여주며, 로보틱스 및 수학적 추론 벤치마크에서 SAC 및 GRPO의 샘플 효율성 (sample efficiency)을 향상시킵니다.

AI 자동 생성 콘텐츠

원문 바로가기

LLM-as-a-Verifier: 범용 검증 프레임워크

요약

핵심 포인트

댓글