CALM: 디코딩 공간에서 일관성 인식 로짓 마스킹을 통한 대형 추론 모델의 과도한 사고 완화

원문 발행 2026. 10. 19. 16:10원문 언어 영어AI 한국어 번역arXiv cs.CL 원문 보기

요약

본 논문은 대형 추론 모델(LRMs)의 과도한 사고(overthinking) 문제를 해결하기 위해 '일관성 인식 로짓 마스킹(CALM)'이라는 훈련 불필요 디코딩 개입 방법을 제안합니다. CALM은 단계 경계의 행동 전환 지점(ATP) 토큰에 로짓 마스킹을 적용하여 중복적인 전이 추론을 효과적으로 억제합니다. 실험 결과, CALM은 CoT 추론 시 토큰 소비를 크게 줄이는 동시에 성능 유지 및 정확도 향상을 입증했습니다.

핵심 포인트

CALM은 LRM의 과도한 사고(overthinking) 문제를 해결하는 디코딩 기법입니다.
행동 전환 지점(ATP)에 로짓 마스킹을 적용하여 중복 추론을 억제합니다.
CoT 추론 시 토큰 소비를 18.6%-25.0% 줄이면서 성능을 유지합니다.
중복적인 추론 감소로 인해 정확도를 향상시킬 수 있습니다.

대형 추론 모델(LRMs)은 긴 생각의 사슬(chain-of-thought) 추론을 통해 까다로운 수학적 및 과학적 작업에서 강력한 성능을 달성했지만, 종종 불필요한 추론 단계로 인해 과도하게 사고하는 문제(overthinking)를 겪습니다. 기존의 잘림 기반 방법들은 일반적으로 연속적인 시도-답변 일치 여부를 감지하고 조기 종료를 강제하지만, 이러한 국소적 중단 신호는 반드시 최종 답변 안정성을 나타내는 것은 아니며 유용한 후속 성찰이나 검증을 방해하여 성능 저하를 초래할 수 있습니다. 본 논문에서는 LRMs의 과도한 사고를 완화하기 위한 훈련 불필요(training-free) 디코딩 개입 방법인 일관성 인식 로짓 마스킹(CALM, consistency-aware logit masking)을 제안합니다. CALM은 먼저 단계 경계에서의 시도 답변을 모니터링한 다음, 'Wait', 'Alternatively', 'Hmm'과 같은 행동 전환 지점(ATP) 토큰에 로짓 마스킹을 적용하여 중복적인 전이 추론을 억제하는 동시에 모델이 사고 과정을 보다 자연스럽게 계속하도록 허용합니다. 네 가지 고급 LRM과 다섯 가지 벤치마크를 가로지르는 실험 결과, CALM은 전체 CoT 추론 대비 토큰 소비량을 18.6%-25.0% 줄이는 동시에 성능을 유지하며, 중복적인 추론을 감소시켜 정확도를 0.07%-1.48% 향상시킬 수도 있음을 보여줍니다. 또한 LLM-as-a-Judge 결과는 CALM이 더 일관되고 간결한 결과를 제공함을 입증합니다.

AI 자동 생성 콘텐츠

원문 바로가기

CALM: 디코딩 공간에서 일관성 인식 로짓 마스킹을 통한 대형 추론 모델의 과도한 사고 완화

요약

핵심 포인트

댓글