COVE: LLM 출력의 사전 검증을 위한 작업 적응형 코드 기반 앙상블

요약

LLM의 환각 현상과 사후 검증 방식의 비효율성을 해결하기 위해 COVE라는 작업 적응형 코드 기반 앙상블을 제안합니다. COVE는 생성 전에 여섯 가지 결정론적 Python 기술을 사용하여 오류를 예방하며, 추가적인 LLM 호출 없이 구조와 일관성을 검증하는 것이 특징입니다. 이를 통해 텍스트 정확도를 크게 높이고 토큰 사용량을 절감하여 효율성을 입증했습니다.

핵심 포인트

• COVE는 생성 후가 아닌 '사전' 오류 예방에 초점을 맞춘 접근 방식입니다.
• 추가 LLM 호출 없이 결정론적 Python 기술을 활용해 검증 오버헤드를 최소화합니다.
• 텍스트 정확도를 미검증 기준선 대비 82.1%까지 끌어올렸습니다.
• 토큰 사용량을 크게 줄여 비용 효율성을 높였습니다 (시뮬레이션 모델 기준).