LLM 기반 코드 생성의 과신(Overconfidence) 실패 특성 분석

대규모 언어 모델(LLMs)은 자동화된 코드 생성에 점점 더 많이 사용되고 있지만, 생성된 프로그램은 구문적으로 그럴듯해 보일지라도 실행 기반 정확성 검사에서 여전히 실패할 수 있습니다. 테스트 및 프로그램 분석과 같은 기존의 검증 방법들은 필수적이지만 종종 불완전하거나 비용이 많이 들거나, 생성 후에만 적용되는 경우가 많습니다. 따라서 모델에서 파생된 불확실성은 자연스러운 초기 신뢰도 지표가 됩니다. 본 논문은 코드 LLM에서 발생하는 과신(overconfidence)의 딜레마를 연구합니다. 이 경우 잘못된 프로그램들이 올바른 프로그램과 비교할 수 있는 토큰 수준의 신뢰도로 생성되는 경우가 많습니다. 우리는 네 가지 오픈 소스 코드 모델과 세 가지 실행 기반 벤치마크에 걸쳐 이 딜레마를 연구합니다. 우리의 분석은 기존 불확실성 지표가 코드 생성에서 실행 정확성의 신뢰할 수 있는 대리 변수(proxy)를 제공하는지 조사하는 것부터 시작합니다. 그런 다음, 선택적 생성(selective generation)과 명령어 튜닝(instruction tuning)의 한계를 포함하여, 잘못된 프로그램들이 신뢰도 및 엔트로피 요약 하에서 올바른 프로그램과 여전히 구별할 수 없는지 질문하며 글로벌 및 로컬 토큰 수준 모두에서 과신을 특성화합니다. 마지막으로, 일반적인 완화 전략이 이러한 실패 모드를 줄이는지 평가합니다. 우리의 연구는 네 가지 발견을 제시합니다. 첫째, 기존 불확실성 신호는 실행 실패에 대한 부분적이고 모델 의존적인 증거만을 제공합니다. 둘째, 과신은 프로그램 및 토큰 수준 모두에서 지속되며, 불확실성 기반 선택이 수용된 세트 정확도를 일관되게 개선하지 못합니다. 셋째, 명령어 튜닝은 올바른성을 일관되게 개선하지 않으면서 실패하는 생성에 대한 확실성만 높일 수 있습니다. 넷째, 일반적인 완화 기술들은 신뢰도의 특정 측면을 개선하지만, 과신 실패를 안정적으로 해결하지는 못합니다. 우리의 탐색적 잠재 분석(exploratory latent analysis)은 숨겨진 표현(hidden representations)이 출력 신뢰도가 노출하지 않는 정확성 관련 신호를 인코딩할 수 있음을 시사합니다.