초당 10 토큰(tokens per second)은 실제로 얼마나 빠른 걸까?

요약

Mike Veerman이 개발한 HTML 기반의 시뮬레이션 앱을 통해 LLM의 토큰 출력 속도를 초당 5개에서 800개까지 직접 체험해 볼 수 있습니다. 이 도구는 '초당 30 토큰'과 같은 모델의 성능 수치가 실제 사용자 경험에서 어떻게 느껴지는지 직관적으로 파악하는 데 도움을 줍니다.

핵심 포인트

• LLM의 토큰 출력 속도를 시각적으로 시뮬레이션할 수 있는 가벼운 HTML 앱 제공
• 초당 5개부터 800개까지 다양한 속도 범위를 테스트 가능
• 모델의 성능 수치(tokens per second)가 실제 체감 속도에 미치는 영향을 직관적으로 이해 가능