MCF: 장문맥 LLM 추론을 위한 메모리 및 통신 인식 공동 설계 프레임워크

원문 발행 2026. 10. 26. 11:30원문 언어 영어AI 한국어 번역arXiv cs.AR 원문 보기

요약

본 논문은 장문맥 LLM 추론을 최적화하는 메모리 및 통신 인식 프레임워크인 MCF를 제시합니다. MCF는 MARS 메커니즘으로 KV 캐시의 지역성을 개선하고, 쿼리 중심 실행 모델로 전환하여 커뮤니케이션 부하 증가를 줄입니다. 또한 FPGA 기반 하드웨어-소프트웨어 공동 설계를 통합하여 시스템의 확장성과 효율성을 높였습니다.

핵심 포인트

MCF는 메모리 및 통신 인식을 통해 장문맥 LLM 추론을 최적화합니다.
MARS를 활용해 KV 캐시 지역성을 개선하고 전파 지연 시간을 숨깁니다.
쿼리 중심 실행 모델로 커뮤니케이션 의존도를 낮추어 부하 증가를 줄입니다.
FPGA 기반 하드웨어-소프트웨어 공동 설계를 통합하여 성능을 향상합니다.

본 논문은 커뮤니케이션 인식을 기반으로 하고 스테이지 적응형 KV-캐시 레이아웃 전환을 통해 장문맥(long-context) 추론을 최적화하는, 메모리 및 통신 인식 프레임워크인 MCF (Memory- and Communication-Aware Framework for Long-Context LLM Inference)를 제시합니다. MCF의 핵심에는 청크 기반 프리필(chunked prefill)을 위한 동적 오케스트레이션 메커니즘인 메모리 인식 복제 및 스케줄링 (MARS: Memory-Aware Replication and Scheduling)이 있습니다. MARS는 선택적으로 고도로 재사용되는 KV 블록을 복제하여 초기 단계의 메모리 여유 공간(memory headroom)을 활용함으로써 지역성(locality)을 개선하고 어텐션 계산 뒤에 KV 전파 지연 시간(KV propagation latency)을 숨깁니다. 프리필이 진행되고 메모리 압력이 증가함에 따라, MARS는 중복 복제본을 점진적으로 소모시키고 KV 캐시를 샤딩된 디코드 준비 레이아웃(sharded decode-ready layout)으로 수렴시켜, 프리필과 디코드 경계에서의 값비싼 레이아웃 변환을 방지합니다. 디코딩 단계에서는 MCF가 쿼리 중심 실행 모델(query-centric execution model)을 채택하여 KV 샤드가 정지된 상태를 유지하는 동안 가벼운 쿼리 텐서(query tensors)들이 워커들 사이로 라우팅됩니다. 이는 커뮤니케이션을 KV-캐시 의존적 전송에서 쿼리 의존적 전송으로 변경시켜, 컨텍스트 길이 증가에 따른 커뮤니케이션 성장을 줄입니다. MCF는 또한 FPGA 컴퓨트-NIC 데이터패스(datapath)를 기반으로 하는 하드웨어-소프트웨어 공동 설계 실행 계층을 통합하여, 메타데이터 기반 KV 라우팅 및 집합 연산(collective operations)을 네트워크 경로에서 직접 수행할 수 있게 합니다. 실험 결과에 따르면, MCF는 컨텍스트 길이와 클러스터 크기가 증가함에 따라 더 큰 이점을 보이며, 최첨단 분산 추론 시스템 대비 TTFT (Time To First Token), 처리량(throughput), 그리고 확장성(scalability)을 개선하는 것으로 나타났습니다.

AI 자동 생성 콘텐츠

원문 바로가기

MCF: 장문맥 LLM 추론을 위한 메모리 및 통신 인식 공동 설계 프레임워크

요약

핵심 포인트

댓글