형식적 명세(Formal specifications)는 의도된 프로그램 동작을 정의하고 검증의 기반이 되지만, Lean과 같은 이론 증명기(theorem provers)에서 이를 작성하는 것은 느리고 전문 지식이 많이 필요하여, 명세 자체가 형식적으로 올바른 코드를 확장하는 데 주요 병목 현상을 만듭니다. 자연어 문제로부터의 자동 형식화(Autoformalization)는 유망하지만, 명세 모델을 훈련시키기 위해서는 생성된 명세가 의도된 동작을 포착하는지에 대한 확장 가능한 피드백이 필요합니다.
이전 접근 방식들은 명시적인 증명(explicit proofs)이나 형식적 대응 증명(formal correspondence proofs)을 가진 별도로 구현된 코드를 통해 이러한 피드백을 얻는데, 이 두 가지 모두 비용이 많이 듭니다. 우리는 AuXSpec을 소개합니다. 이는 선언적 사후 조건(declarative postconditions)과 실행 가능한 대응물(executable counterparts)을 짝짓는 Lean 프레임워크입니다. 이 대응물은 가능할 경우 타입 클래스 해결(type class resolution)을 통해 얻거나, 그렇지 않은 경우에는 동치성 증명(equivalence proof)과 함께 별도로 정의됩니다.
테스트 케이스는 실행을 통해 선언적 명세를 평가할 수 있게 하며, 이를 통해 우리는 일치(agreement)를 강화학습(reinforcement-learning) 보상으로 사용할 수 있습니다. AuXSpec을 사용하여 우리는 3,037개의 LeetCode 문제를 합성하고, Codeforces에서의 전문가 반복(expert iteration)을 통해 학습 데이터를 19.5K 샘플로 확장했습니다.
실험 결과, 실행 기반 보상(execution-based reward)을 사용하여 Qwen3.5-9B와 Qwen3.8-27B를 훈련시킨 결과, AuXSpec-Test에서 SpecGen pass@4가 0.7% $\to$ 82.7%, 14.3% $\to$ 84.3%로 향상되었으며, 27B 모델이 모든 최첨단(frontier) 모델을 능가했습니다.
원본 프롬프트를 사용한 도메인 외부(out-of-domain) Verina 벤치마크에서, 두 모델 모두 7.0% $\to$ 90.5%, 21.9% $\to$ 90.5%로 향상되었으며, 오픈 소스 명세 모델 중 이전 최고 성능이었던 VeriSpecGen-30B-A3B를 pass@1 (그들: 47.6% 대 우리: 73.7% 및 84.5%)과 pass@4 (pass@10에서 그들: 63.9% 대 우리: 90.5%) 모두 능가했습니다.
우리는 향후 평가를 위해 전문가 검토 및 정확성 증명(correctness proofs)이 포함된 300문제의 AuXSpec-Test 벤치마크와 함께, 훈련된 9B 및 27B 모델의 가중치와 3,037개 문제에 대한 테스트 케이스를 공개합니다.
모델 및 데이터: https://huggingface.co/collections/eth-algopt/auxspec. 웹사이트: https://auxspec.org