본문으로 건너뛰기
arXiv논문2026. 10. 07. 10:36
효율적인 LLM 서빙을 위한 분산 양자화가 적용된 형태 적응형 아키텍처 대표 이미지

효율적인 LLM 서빙을 위한 분산 양자화가 적용된 형태 적응형 아키텍처

원문 발행 2026. 10. 06. 06:50원문 언어 영어AI 한국어 번역arXiv cs.AR 원문 보기

요약

본 논문은 LLM 서빙의 비효율성을 해결하기 위해 DynaCore라는 통합 아키텍처를 제안합니다. 이 아키텍처는 시스톨릭 배열을 세 방향으로 재구성하고, 분산 양자화 기법(듀얼사이드/가중치 전용)을 적용하여 성능을 극대화했습니다. 실제 서빙 트레이스 평가 결과, 기존 대비 지연 시간 및 처리량에서 큰 개선을 입증했습니다.

핵심 포인트

  • DynaCore는 LLM 서빙을 위한 통합 아키텍처를 제시합니다.
  • 시스톨릭 배열의 MEU를 공간적/시간적으로 재구성하여 효율성을 높였습니다.
  • 분산 양자화(Dual-side, Weight-only)를 적용해 메모리 및 전력 효율을 개선했습니다.
  • 실제 서빙 트레이스에서 TTFT와 TPOT 등 주요 지표를 대폭 개선했습니다.

AI 자동 생성 콘텐츠

본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
1

댓글

0