Verus-SpecGym: 명세 자동 형식화 (Specification Autoformalization) 평가를 위한 에이전트 기반 환경

요약

LLM 에이전트가 비형식적 문제를 형식 명세로 번역하는 '명세 자동 형식화' 능력을 평가하기 위한 Verus-SpecGym 환경과 Verus-SpecBench 벤치마크를 제안합니다. Rust 검증기 Verus를 활용하여 생성된 명세의 정확성을 실행 가능한 코드로 검증하는 새로운 평가 체계를 구축했습니다.

핵심 포인트

• 명세 자동 형식화 평가를 위한 에이전트 기반 환경 Verus-SpecGym 소개
• Gemini 1.5 Pro가 77.8%의 성공률을 보이며 프런티어 모델 중 가장 우수한 성능 기록
• LLM-as-a-judge 방식이 미세한 명세 오류의 26%를 놓친다는 한계 발견
• 모델이 입력 가정 누락이나 잘못된 출력 수용 등의 실패 모드를 보임