TLAPS-Bench: TLA+ 증명 시스템을 이용한 실제 시스템 사양의 정확성 형식적 증명

요약

TLAPS-Bench는 TLA+(Temporal Logic of Actions)를 사용하여 실제 시스템 사양의 정확성을 기계 검증하는 벤치마크입니다. 이 하네스는 에이전트가 증명 도구와 라이브러리를 활용하여 캐시 일관성, 비잔틴 합의 등 복잡한 속성을 증명하도록 지원합니다. 최첨단 AI 에이전트를 평가한 결과, GPT-6.1 Sol (max) 모델이 31개의 증명 목표를 성공적으로 증명하며 종단 간 증명 개발의 가능성을 입증했습니다.

핵심 포인트

• TLAPS-Bench는 TLA+ 기반 시스템 사양 검증을 위한 새로운 벤치마크입니다.
• 에이전트가 증명 도구와 라이브러리를 활용하여 반복적인 증명을 지원합니다.
• 캐시 일관성, 비잔틴 합의 등 핵심 시스템 속성을 증명하는 데 사용되었습니다.
• GPT-6.1 Sol (max) 모델이 31개의 증명 목표를 성공적으로 증명했습니다.