VeriFast를 위한 LLM 생성 명세(Specifications)에 관한 실증적 연구

요약

본 연구는 VeriFast와 같은 분리 논리(SL) 기반 정적 검증기를 위한 LLM의 명세 생성 능력을 실증적으로 평가합니다. 10개의 LLM과 다양한 프롬프팅 방식을 테스트한 결과, 기능적 동작은 잘 보존하지만 검증 성공률은 31.4%로 낮게 나타났습니다.

핵심 포인트

• LLM은 코드와 명세의 기능적 동작을 91% 이상 보존함
• VeriFast 검증 성공률은 31.4%로 완만한 수준을 기록
• Gemini 1.5 Pro와 공식 계약 제공 시 가장 높은 성능 발휘
• 오류의 94%는 SL 검증기의 도메인 특화 지식 부족에서 발생