효율적인 LLM 서빙을 위한 분산 양자화가 적용된 형태 적응형 아키텍처
요약
본 논문은 LLM 서빙의 비효율성을 해결하기 위해 DynaCore라는 통합 아키텍처를 제안합니다. 이 아키텍처는 시스톨릭 배열을 세 방향으로 재구성하고, 분산 양자화 기법(듀얼사이드/가중치 전용)을 적용하여 성능을 극대화했습니다. 실제 서빙 트레이스 평가 결과, 기존 대비 지연 시간 및 처리량에서 큰 개선을 입증했습니다.
핵심 포인트
- DynaCore는 LLM 서빙을 위한 통합 아키텍처를 제시합니다.
- 시스톨릭 배열의 MEU를 공간적/시간적으로 재구성하여 효율성을 높였습니다.
- 분산 양자화(Dual-side, Weight-only)를 적용해 메모리 및 전력 효율을 개선했습니다.
- 실제 서빙 트레이스에서 TTFT와 TPOT 등 주요 지표를 대폭 개선했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기