대형 언어 모델은 조기에 결정하고 이후에 설명한다

요약

본 논문은 대형 언어 모델(LLM)이 긴 추론 과정에서 최종 답변을 언제 결정하는지 분석하고, 이 과정의 비효율성을 지적합니다. 연구 결과에 따르면, LLM의 예측된 답변은 쿼리의 약 32% 시점에서 이미 안정화되며, 이후 생성되는 많은 토큰들은 사후 설명에 불과하여 비용만 증가시킵니다. 이에 따라, 답변이 안정화되자마자 생성을 중단하는 '조기 중단(early stopping)' 전략을 제안하고, 이를 통해 상당한 추론 자원 절감 효과를 입증했습니다.

핵심 포인트

• LLM의 최종 답변은 긴 중간 연쇄 사고 과정에서 비교적 초기에 결정되는 경향이 있다.
• 추가적인 토큰 생성(사후 설명)은 정확도 개선에 기여하지 않으면서 추론 비용과 지연 시간을 증가시킨다.
• 답변 안정화 시점을 포착하여 생성을 중단하는 '조기 중단' 전략을 적용할 수 있다.
• 탐지 기반의 조기 중단 휴리스틱은 쿼리당 약 500개의 추론 토큰 사용을 줄이면서도 정확도 손실은 2% 미만으로 유지한다.