본문으로 건너뛰기
arXiv논문2026. 11. 21. 05:19
Cap-and-Track: 변화하는 용량에 따른 LLM 추론 요청 디스패치 최적화 대표 이미지

Cap-and-Track: 변화하는 용량에 따른 LLM 추론 요청 디스패치 최적화

원문 발행 2026. 11. 19. 03:34원문 언어 영어AI 한국어 번역arXiv cs.LG (Machine Learning) 원문 보기

요약

LLM 추론 요청 디스패치에 고정된 비율을 사용하는 방식의 한계를 극복하기 위해 Cap-and-Track 시스템이 제시되었습니다. 이 시스템은 제공업체 용량 및 내부 GPU 전반의 비동기 추론 설계를 구현합니다. 'Cap'과 'Track' 메커니즘을 사용하여, 오직 용량 거부 신호만을 기반으로 요청 디스패치를 최적화하여 자원 효율성을 높입니다.

핵심 포인트

  • 고정된 비율 방식의 한계점을 극복하는 비동기 추론 설계입니다.
  • 'Cap'은 포화 리소스에서 즉각적인 수용 검사를 통해 작업을 거부합니다.
  • 오직 용량 거부 신호만을 사용하여 디스패치 상태를 조향합니다.
  • H100 사용량을 43% 감소시키면서도 높은 goodput을 유지했습니다.

AI 자동 생성 콘텐츠

본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
0

댓글

0