LoRA 기반 트랜스포머의 서브 토큰 라우팅을 통한 효율적 KV 압축 기법

요약

본 논문은 기존의 토큰, 헤드 단위가 아닌 '서브 토큰(sub-token)' 수준에서 트랜스포머 모델의 효율성을 제어하는 라우팅 메커니즘을 제시합니다. 특히 LoRA (Low-Rank Adaptation)를 적용한 환경에서 KV 압축을 수행할 때, 단순히 토큰 전체를 보존하거나 버리는 'All-or-nothing' 방식을 탈피하여 서브 토큰 단위로 정보를 정교하게 라우팅하고 압축하는 방법을 제안합니다. 이를 통해 언어 모델링(LM)의 품질과 압축률 간의 트레이드오프를 개선할 뿐만 아니라, 다운스트림 태스크 수행 시에도 원래의 성능을

핵심 포인트

• 서브 토큰 라우팅은 기존 방식(토큰, 헤드 등)보다 훨씬 정밀한 제어 축을 제공하여 트랜스포머 효율성을 높입니다.
• 언어 모델링(LM)의 경우, 쿼리 독립적인 방식으로 서브스페이스 LoRA와 값 그룹 라우팅을 결합하여 품질-압축률 트레이드오프를 개선합니다.
• 다운스트림 태스크 보존 측면에서는 쿼리 인식적(query-aware) 설계를 도입하여 전역 유지 예산을 할당하고 원래의 다운스트림 행동을 유지합니다.
• 서브 토큰 라우팅은 토큰 단위 라우팅과 상호보완적입니다. 전자는 생존할 토큰을 결정하고, 후자는 살아남은 토큰 내부를 압축하는 역할을 합니다.