긴 컨텍스트 트랜스포머 서빙은 큰 토큰 길이(예: 수천 개의 토큰)에서 병목 현상을 일으킬 수 있어 실시간 배포에 어려움을 초래합니다. QuantMLA의 듀얼패스 INT4/INT2 캐시는 이러한 한계를 극복하고, 캐시가 긴 시퀀스에서 부하 테스트를 거쳤을 때 BF16 기준 대비 5배 이상의 전체 작업 출력 처리량을 제공합니다 [].
기존의 프로덕션 스택은 시퀀스 길이에 따라 선형적으로 증가하는 BF16 KV 캐시에 의존하며, 부하가 클 때 메모리 프리엠션(memory preemptions)을 자주 유발합니다. 또한 이러한 파이프라인은 캐시가 할당된 영역을 초과할 때 용량 기반 재계산(capacity-driven recomputation) 비용을 발생시키는데, 이는 배포된 모델의 실질적인 윈도우 크기를 제한하는 문제였습니다 [].
QuantMLA는 128k 토큰 윈도우에서 콘텐츠 및 RoPE 캐시를 3.59배 압축하여 프리엠션을 완전히 제거합니다. 해당 논문은 “C4R4 캐시는 프리엠션 없이 워크로드를 수용한다”고 언급하며 [], 저비트 캐싱이 지속적인 압력 하에서도 비용이 많이 드는 메모리 제거(memory eviction)의 필요성을 없앰을 확인시켜 줍니다.
처리량 향상은 본질적인 커널 가속보다는 용량 기반 재계산을 우회하는 데서 비롯됩니다. 저자들이 명확히 설명했듯이, “이러한 워크로드에서 얻는 이득은 용량 기반 재계산을 피하는 것에서 비롯된 것이며 어텐션 커널 속도 향상은 아니다” []; 그럼에도 불구하고, 이 접근 방식은 RoPE(Rotary Position Embedding)에 의해 유도된 위치 신호의 정확한 보존에 달려 있으며, 이는 세밀한 기하학적 구조에 크게 의존하는 작업에서는 미묘하게 저하될 수 있습니다.
장거리 추론을 평가하는 벤치마크는 현실적인 지연 시간(latency) 수치를 얻기 위해 INT4 캐시된 MLA 모델로 재실행되어야 하며, 프로덕션 서비스는 이제 실시간 SLA를 위반하지 않고 8k 이상의 컨텍스트 윈도우 배포를 고려할 수 있게 되었습니다.
참고문헌
- QuantMLA: Function-Aligned Dual-Path Quantization for Low-Bit MLA KV Caching