언제 답변하고 언제 유보할 것인가: 신뢰할 수 있는 코드 예측을 위한 의사결정 프레임워크

요약

코드 언어 모델의 과도한 확신 또는 불확실한 예측 문제를 해결하기 위해 불확실성 추정, 모델 교정, 도구 기반 유보 처리를 통합한 새로운 프레임워크를 제안합니다. 기존 자연어 처리 방식이 코드 모델에 적용될 때 발생하는 한계를 극복하고, 경량 프로그램 분석을 통해 유보된 사례를 처리할 수 있는 배포 지향적 워크플로우를 구축합니다.

핵심 포인트

• 코드 모델의 과도한 확신(overconfidence) 및 과도한 불확신(underconfidence) 문제 해결
• 기존 사후 교정(post-hoc calibration) 기술의 한계인 예측 순위 개선 문제 극복
• 불확실성을 단순 지표가 아닌 실행 가능한 신호로 활용하는 통합 프레임워크 제안
• 경량 프로그램 분석 절차를 호출하여 유보된 출력을 검증하거나 수정하는 메커니즘 포함
• 분류 및 생성 작업 모두에서 위험 인식 및 커버리지 제어가 가능한 워크플로우 지원