Long-Context Aware Upcycling: A New Frontier for Hybrid LLM Scaling

요약

본 논문은 기존 Transformer LLM의 강력한 짧은 컨텍스트 능력을 유지하면서 긴 컨텍스트 처리 능력을 효율적으로 확장하는 '업사이클링(upcycling)' 방법을 제안합니다. 연구팀이 개발한 HyLo (HYbrid LOng-context)는 아키텍처 적응, Multi-Head Latent Attention (MLA), 그리고 선형 블록(Mamba2 또는 Gated DeltaNet)을 결합하여 기존 모델을 하이브리드 구조로 전환하는 레시피입니다. 이 방법을 통해 사용 가능한 컨텍스트 길이를 크게 확장하고, 적은 양의 데이터와 훈련으로도 강력한 성능을 입증했습니다.

핵심 포인트

• HyLo는 기존 Transformer LLM 체크포인트를 재사용하여 긴 컨텍스트 능력을 개선하는 '업사이클링' 접근 방식을 제시합니다.
• 핵심 아키텍처는 MLA와 선형 블록(예: Mamba2, Gated DeltaNet)을 결합한 하이브리드 구조를 채택합니다.
• 이 방법은 기존 모델의 짧은 컨텍스트 성능을 유지하면서도 컨텍스트 길이를 최대 32배 확장할 수 있습니다.
• HyLo는 적은 학습 토큰(예: JetNemotron 대비 10B 토큰)으로도 강력한 추론 및 상식 추론 능력을 보여주며, 기존 베이스라인을 압도합니다.