코드 생성 시 대규모 언어 모델(LLM)을 위한 작업 기권 (Task Abstention)

요약

본 논문은 LLM이 코드 생성 시 발생시키는 환각(hallucination) 문제를 해결하기 위해, 특정 작업을 수행할지 혹은 기권할지를 결정하는 '작업 기권(task abstention)' 메커니즘을 제안합니다. 다중 가설 검정 원칙에 기반한 보정된 기권 규칙을 통해 코드 실행 결과를 바탕으로 생성 일관성을 평가하며, 외부 데이터베이스 없이도 구문론적 다양성을 처리할 수 있습니다.

핵심 포인트

• LLM의 코드 생성 시 발생하는 환각 현상을 방지하기 위한 작업 기권(task abstention) 연구
• 다중 가설 검정 원칙을 활용하여 코드 실행 결과로 생성 일관성을 평가하는 보정된 규칙 제안
• 오라클 테스트 케이스나 외부 데이터베이스에 의존하지 않는 분포가 없는(distribution-free) 이론적 보장 제공
• 기존 기술 대비 환각 유발 작업을 더 정확하게 식별하여 안전하고 견고한 코드 생성 가능