메모리 효율적인 루프 트랜스포머: 루프 언어 모델에서 연산과 메모리를 분리하다

요약

본 논문은 순환형 LLM 아키텍처가 가진 메모리 효율성 문제를 해결하기 위해 Memory-Efficient Looped Transformer (MELT)를 제안합니다. 기존 루프 기반 모델들은 추론 깊이가 깊어질수록 KV 캐시 유지에 필요한 메모리가 선형적으로 증가하여 확장성에 한계가 있었습니다. MELT는 레이어 및 루프마다 별도의 KV 캐시를 사용하는 대신, 전체 추론 과정에서 공유되는 단일 KV 캐시를 사용하며, 이를 학습 가능한 게이팅 메커니즘으로 업데이트함으로써 상수 메모리 복잡도로 반복 추론을 가능하게 합니다.

핵심 포인트

• MELT는 기존 루프 트랜스포머의 선형적인 메모리 증가 문제를 해결합니다.
• 전통적인 KV 캐시 대신, MELT는 전체 루프에 걸쳐 공유되는 단일 KV 캐시를 사용합니다.
• 이 공유 캐시는 학습 가능한 게이팅 메커니즘을 통해 효율적으로 업데이트됩니다.
• MELT는 LoopLM의 성능을 유지하면서 메모리 사용량을 상수 복잡도로 줄여줍니다.