DyCon: 진화하는 난이도 모델링을 통한 동적 추론 제어

최근 대규모 추론 모델 (Large Reasoning Models, LRMs)의 발전은 복잡한 작업을 반복적으로 성찰(reflecting), 탐색(exploring), 실행(executing)함으로써 놀라운 성능 향상을 보여주고 있으나, "과도한 사고 (overthinking)"라고 알려진 중복된 추론으로 인해 비효율성을 겪고 있습니다. 이 문제를 완화하기 위한 기존 방법들은 정적인 난이도 추정 (static difficulty estimates)에 의존하거나 작업별 학습 (task-specific training)을 요구하며, 따라서 추론 과정 중의 동적인 복잡성 (dynamic complexity)에 적응하지 못합니다. 본 연구에서는 문제의 난이도가 추론 과정 전반에 걸쳐 동적으로 진화하며, LRM의 단계별 임베딩 (step-level embeddings)에 선형적으로 인코딩되어 있음을 실증적으로 보여줍니다. 이러한 통찰을 바탕으로, 우리는 잠재적인 단계별 표현 (latent step-level representations)을 활용하여 진화하는 작업 난이도를 명시적으로 모델링하고, 추론 깊이 (reasoning depth)를 동적으로 제어하여 과도한 사고 문제를 완화할 수 있는 학습이 필요 없는 (training-free) 프레임워크인 DyCon을 제안합니다. 4B에서 32B 규모의 4개 모델과 수학 추론, 일반 질의응답, 코딩 작업에 걸친 12개 벤치마크에서 수행된 광범위한 실험을 통해, DyCon이 정확도나 일반화 (generalization)를 희생하지 않으면서 중복된 단계를 줄임으로써 추론 효율성을 크게 향상시킨다는 것을 입증했습니다. 프로젝트 페이지와 코드는 https://github.com/yu-lin-li/DyCon 에서 확인할 수 있습니다.