생각의 준말: 엔트로피 가이드된 슈퍼토큰을 통한 LLM 추론 압축

대형 언어 모델 (LLM) 의 추론은 상당한 추론 시간 연산 비용을 발생시키지만, 추론 트레이스 (reasoning traces) 의 토큰 단위 정보 구조는 아직 충분히 탐구되지 않았다. 우리는 추론 토큰이 두 가지 기능적 유형으로 분할된다는 것을 관찰했다: 저엔트로피 extit{구조적} 토큰 (추론 과정을 지지하는 반복되는 구문) 과 고엔트로피 extit{유기적} 토큰 (해결책으로 이어지는 문제 특이적 내용). 이 비대칭성은 모델에 독립적인 (model-agnostic) 단순한 압축 파이프라인을 동기화한다: 모델 자신의 추론 트레이스에 대해 크로스워드 BPE 병합 (cross-word BPE merges) 을 적용하여 빈번한 구조적 패턴을 포착하는 extit{슈퍼토큰} (supertokens) 을 유도한 후, 이를 모델을 채택하도록 감독 학습 미세 조정 (supervised fine-tuning) 을 통해 가르친다. 세 가지 모델 계열과 다섯 가지 수학 추론 벤치마크에 걸쳐, 우리의 접근법은 통계적으로 유의미한 정확도 손실 없이 모든 모델-벤치마크 쌍에서 평균 8.1% 의 추론 트레이스 단축을 달성했다. 압축을 넘어, 슈퍼토큰은 해석 가능한 추론 이동 (reasoning-move) 주석 (백트래킹, 검증, 전략 전환) 으로 작용하여 모델의 상위 레벨 전략을 한눈에 드러낸다. 구조적 범주 간의 전이를 분석하면 올바른 트레이스와 잘못된 트레이스 사이의 체계적인 차이를 발견한다: 올바른 트레이스는 생산적 회복 (백트래킹 이후 전략 전환과 검증) 을 보여주지만, 잘못된 트레이스는 혼란 사이클 (반복적인 회피와 해결되지 않은 모순) 에 의해 지배된다. 이러한 진단 신호는 RL 기반 추론 학습에 대한 보상 형성 (reward shaping) 과 조기 종료 (early stopping) 적용을 시사한다.