Task-Aware Calibration: LLM에서 증명 가능한 최적 디코딩

요약

본 기사는 LLM의 디코딩 과정에서 발생하는 예측 분포와 실제 생성 분포 간의 불일치 문제를 다룹니다. 기존의 일반적인 보정 방법은 자유 형식 언어라는 조합론적으로 방대한 공간에서는 정의하기 어렵다는 한계가 있습니다. 이를 해결하기 위해, 연구진은 출력이 이산 클래스 레이블, 정수 또는 집합과 같은 의미적으로 구조화된 잠재 구조를 가질 수 있다는 통찰을 바탕으로 '작업별 보정(Task-Aware Calibration)' 패러다임을 제안합니다.

핵심 포인트

• LLM 디코딩은 예측 분포에 의존하여 출력을 생성하며, 이는 실제 최적 결정과 불일치할 수 있다.
• 자유 형식 언어 수준에서 모델 출력 분포를 보정하는 것은 조합론적으로 정의하기 어렵다(ill-posed).
• 본 연구는 LLM의 출력이 이산 클래스 레이블, 정수 또는 집합 같은 의미 있는 잠재 구조로 해석될 수 있다는 점에 주목한다.
• 이러한 통찰을 바탕으로 '작업별 보정(Task Calibration)'이라는 새로운 패러다임을 제시하여 문제를 해결하고자 한다.