생각의 준말: 엔트로피 가이드된 슈퍼토큰을 통한 LLM 추론 압축

요약

본 논문은 LLM의 추론 과정에서 발생하는 높은 연산 비용 문제를 해결하기 위해 '슈퍼토큰(supertokens)'이라는 새로운 압축 기법을 제안합니다. 이 방법은 추론 토큰을 구조적이고 반복적인 저엔트로피 패턴과 문제 특이적인 고엔트로피 내용으로 분리하여, 전자의 패턴에 크로스워드 BPE 병합을 적용해 슈퍼토큰을 생성하고 이를 모델에 학습시킵니다. 그 결과, 정확도 손실 없이 평균 8.1%의 추론 트레이스를 단축하는 효과를 보였으며, 나아가 이 슈퍼토큰이 모델의 상위 레벨 전략(예: 백트래킹)을 해석 가능한 주석으로 활용될 수 있음을 입증했습니다.

핵심 포인트

• LLM 추론 비용 절감을 위해 '슈퍼토큰'이라는 압축 기법을 도입함.
• 추론 토큰을 저엔트로피 구조적 패턴과 고엔트로피 유기적 내용으로 분리하여 비대칭성을 활용함.
• 크로스워드 BPE 병합을 통해 슈퍼토큰을 생성하고, 이를 모델에 감독 학습 방식으로 주입함.
• 이 기법은 정확도 손실 없이 평균 8.1%의 추론 트레이스를 단축하는 효과를 보임.
• 슈퍼토큰은 단순 압축을 넘어, 백트래킹이나 검증 같은 해석 가능한 '추론 이동' 주석으로 활용되어 모델 전략 분석에 도움을 줌.