균일 토큰을 넘어서: 시계열 언어 모델을 위한 적응형 압축

대규모 언어 모델(LLMs)은 공유된 토큰 인터페이스를 통해 수치 관측값과 텍스트 컨텍스트를 공동으로 모델링함으로써 시계열(TS) 분석을 가능하게 했습니다. 하지만 TS 토큰과 프롬프트 토큰은 근본적으로 다른 정보 구조를 보여, 균일한 토큰 처리는 비효율적입니다. 본 논문에서는 비대칭 토큰 관점에서 TS 언어 모델링의 토큰 효율성을 연구합니다. 우리는 TS 토큰이 매우 불균등한 스펙트럼 기여도를 가지며, 많은 토큰들이 중복된 주파수 패턴을 공유하는 반면 소수의 하위 집합만이 중요한 시간적 증거를 보존한다는 것을 보여줍니다. 또한 프롬프트 토큰의 영향력이 모델 깊이에 따라 감쇠하는 것을 관찰했으며, 이는 모든 레이어에 걸쳐 전체 프롬프트를 유지할 필요가 없음을 시사합니다. 이러한 발견을 바탕으로, 우리는 주파수 영역 구조를 통해 TS 토큰을 압축하고 레이어를 거치며 프롬프트 토큰을 점진적으로 줄이는 적응형 토큰 예산 책정 프레임워크를 개발했습니다. 예측(forecasting), 분류(classification), 보간(imputation), 이상 탐지(anomaly detection)에 걸친 실험은 최대 extit{ extbf{7.68$ imes$}} 추론 가속 및 평가된 설정의 extit{ extbf{78%}}에서 성능 향상을 입증하며, 확장 가능한 TS 파운데이션 모델을 위한 비대칭 토큰 압축의 효과를 보여줍니다.