사고 과정 제어하기: 적응형 LLM 추론을 위한 조건부 엔트로피 셰이핑 (Conditional Entropy Shaping)

요약

조건부 엔트로피 셰이핑(CES)은 LLM의 추론 과정에서 토큰 수준의 엔트로피를 동적으로 제어하여 응답의 길이를 조절하고 정확도를 높이는 프레임워크입니다. 쉬운 문제에서는 간결한 답변을, 어려운 문제에서는 심층적인 탐색을 유도함으로써 기존 방식의 응답 길이와 정확도 간의 트레이드오프 문제를 해결합니다.

핵심 포인트

• 토큰 수준의 엔트로피를 불확실성 신호로 활용하여 추론 경로를 제어함
• 올바른 경로의 고엔트로피 분기점에는 패널티를, 잘못된 경로에는 보상을 주는 조건부 양방향 정책 적용
• DeepSeek-R1-Distill-7B 모델을 통해 응답 길이를 줄이면서도 수학적 벤치마크 정확도를 향상시킴
• 1.5B 규모의 작은 모델 및 도메인 외 벤치마크에서도 효과적인 성능 입증