본문으로 건너뛰기
arXiv논문2026. 10. 07. 10:38
생성형 AI 추론 컴퓨팅 평가: 엔터프라이즈 워크로드를 위한 프레임워크 대표 이미지

생성형 AI 추론 컴퓨팅 평가: 엔터프라이즈 워크로드를 위한 프레임워크

원문 발행 2026. 10. 05. 22:31원문 언어 영어AI 한국어 번역arXiv cs.AR 원문 보기

요약

LLM 배포 방식이 단일 턴에서 에이전트적 궤적으로 변화함에 따라, 추론 하드웨어의 병목 현상이 가중치 읽기(weight reads) 중심에서 토큰 디코드 지연 시간(TPOT) 중심으로 이동하고 있습니다. 본 논문은 루프라인 분석과 새로운 평가 프레임워크를 제시하며, 에이전트적 워크로드에서의 결정론 및 테일 지연 시간이 핵심 성능 변수임을 입증합니다.

핵심 포인트

  • LLM 배포가 에이전트 궤적으로 전환되며 TPOT가 주요 병목으로 부상함.
  • 에이전트 워크로드는 단계별 신뢰성 문제로 인해 디코드 이점을 상쇄할 수 있음.
  • 새로운 네 가지 계층 평가 프레임워크를 제시하여 엔터프라이즈급 측정 기준을 제공함.
  • 장기 작업에서는 토큰 처리량보다 성공적인 작업당 비용이 더 중요한 성능 지표가 될 가능성이 높음.

AI 자동 생성 콘텐츠

본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
1

댓글

0