VerusEval: 검증기 수용을 넘어선 LLM 생성 Verus 사양 평가

요약

본 논문은 LLM이 Rust 기반 Verus 계약과 증명문을 생성하는 과정에서, 단순한 검증기 수용 여부만으로는 계약의 실제 의도 포착 여부를 판단하기 어렵다는 문제를 제기합니다. 이를 해결하기 위해 의미적 자명성, I/O 스위트, 계약 동등성 등 6가지 차원을 평가하는 VerusEval 프레임워크를 제시했습니다.

핵심 포인트

• 단순 수용 여부는 품질을 과대평가하므로, 다차원적인 평가 방법론이 필수적입니다.
• 수용된 아티팩트 중 실제로 의미적 검사를 모두 통과한 비율은 42.3%에 불과합니다.
• I/O 평가는 높은 거부율을 보였으며, 동등성 증명률도 63.2%로 제한적이었습니다.
• 선별 및 검토를 통해 잠재적 결함을 식별하고 수정함으로써 실패했던 아티팩트의 상당수를 복구할 수 있었습니다.