국소적 추론 오류에 대한 피드백을 통한 LLM 기반 루프 불변량 합성 가이드

우리는 LLM(Large Language Model)의 사고 과정을 공식적으로 검증하고 국소적 추론 오류(local reasoning errors)를 탐지함으로써, "추측 및 확인(guess-and-check)" 패러다임 내에서 LLM에 건설적인 피드백을 제공하는 새로운 프레임워크를 제안합니다. 우리는 이 프레임워크를 루프 불변량 합성(loop invariant synthesis) 문제에 적용합니다. 우리는 모델이 생성한 루프 불변량의 검증 조건(verification condition)이 실패했을 때, 그 사고 과정을 정당화하는 단계별 자연어 증명을 생성하도록 프롬프트를 작성합니다. 그런 다음, LLM을 사용하여 해당 추론 단계들을 자동으로 확인할 수 있는 1차 논리 함의(first-order logic implications)로 변환합니다. 유효하지 않은 함의는 LLM의 사고 과정에서 정확한 논리적 결함을 지목하며, 우리는 이를 사용하여 개선을 위한 타겟팅된 피드백을 구성합니다. 우리는 LORIS라는 도구에 우리의 접근 방식을 구현하였으며, 460개의 C 프로그램으로 구성된 주요 벤치마크 제품군과 비선형 특성(non-linear properties)을 포함하는 50개의 C 프로그램으로 구성된 추가 벤치마크 제품군에서 이를 평가했습니다. 주요 벤치마크 제품군에서 LORIS는 445개의 프로그램을 해결하여 $93.1%$의 전체 성공률을 달성했습니다. LORIS는 또한 까다로운 비선형 벤치마크 제품군에서도 견고함(robustness)을 입증했습니다.