실제 X 토큰/초의 속도를 체감하는 방법

요약

LLM의 성능은 모델 품질과 크기뿐만 아니라 실제 속도(토큰/초) 또한 매우 중요합니다. 하지만 단순히 수치로 제시되는 토큰/초는 사용자가 체감하는 실제 경험적 속도를 전달하기 어렵습니다. 이에 필자는 객관적인 수치를 주관적으로 이해하고 감을 잡을 수 있도록 돕는 스크립트를 개발하여 공유했습니다.

핵심 포인트

• LLM 성능 평가 시, 모델의 품질과 크기 외에 실제 추론 속도(토큰/초)가 중요한 고려 요소이다.
• 단순한 토큰/초 수치만으로는 사용자가 체감하는 '속도'를 정확히 파악하기 어렵다.
• 필자는 객관적인 성능 지표를 주관적으로 이해하고 감을 잡는 데 도움을 주는 스크립트를 개발했다.
• 해당 스크립트는 텍스트, 코드 생성 및 추론+코드 기능을 지원한다.