검증 가능한 리터러트 프로그래밍(Verifiable Literate Programming)을 통한 LLM 생성 코드의 인간 검증 가이드

요약

LLM이 생성한 코드의 신뢰성을 높이기 위해 인간의 피드백을 활용하는 '검증 가능한 리터러트 프로그래밍(VLP)' 프레임워크를 제안합니다. 모호하지 않은 자연어 문서를 중간 계층으로 활용하여 사용자가 코드의 의도를 쉽게 검증하고 수정할 수 있도록 지원합니다.

핵심 포인트

• VLP는 프롬프트와 코드 사이의 읽기 가능한 중간 문서 계층을 제안함
• Human-in-the-loop 방식을 통해 의도와 코드 간의 불일치를 해결
• LLM 기반 불일치 탐지 및 모델 체킹을 통한 자동 검증 모듈 포함
• 평가 결과 코드 pass@1 성능을 최대 93.5%까지 향상시킴