[도해] LLM 성능 지표 TTFT, ITL, TTLT, TPS, Throughput을 다이어그램으로 이해하기

요약

본 글은 LLM 추론 서버의 성능을 측정하는 핵심 지표 5가지(TTFT, ITL, TTLT, TPS, Throughput)를 다룹니다. 각 지표가 시간 축의 어느 부분을 측정하는지 다이어그램과 함께 명확히 설명하며, 특히 TTFT는 사용자 체감 속도에 가장 큰 영향을 미치는 요소임을 강조합니다.

핵심 포인트

• TTFT(Time To First Token)는 첫 토큰 수신까지의 시간으로, 사용자가 느끼는 반응 속도를 좌우하는 핵심 지표입니다.
• LLM 추론은 입력 프롬프트를 계산하는 Prefill 단계와 토큰을 생성하는 Decode 단계로 나뉩니다.
• ITL(Inter-Token Latency)은 연속된 두 토큰 사이의 간격이며, 평균값 외 p50/p90 등 분포 확인이 권장됩니다.
• TTLT는 요청 전송부터 마지막 토큰 수신까지의 전체 소요 시간(E2E 레이턴시)을 의미합니다.