[벤치마크] 5090RTX: 프롬프트 파싱 (Prompt Parsing), 토큰 생성 (Token Generation) 및 전력 수준

요약

본 기사는 5090RTX 그래픽카드를 사용하여 LLM 추론 과정에서 프롬프트 파싱(Prompt Parsing, PP)과 토큰 생성(Token Generation, TG) 성능을 다양한 전력 제한(Power Limit) 조건 하에 비교 분석한 벤치마크 결과입니다. 테스트는 Qwen3.6-27B 모델과 복잡한 30k 프롬프트를 사용했으며, 전력 제한이 PP에는 민감하게 영향을 미치는 반면 TG에는 거의 선형적인 관계를 보였습니다. 특히, 4090RTX 대비 5090RTX는 단순히 더 높은 전력 소비량 이상의 성능 차이를 보였으며, 이 성능 격차는 PP와 TG에 동일하게 적용되지 않는다는 점을 데이터 테이블로 제시했습니다.

핵심 포인트

• LLM 추론 시 프롬프트 파싱(PP)과 토큰 생성(TG)은 전력 제한 조건에서 다른 민감도를 보입니다. (PP가 더 민감함)
• 5090RTX는 4090RTX 대비 단순히 높은 전력 소비량 외에 성능 면에서도 차이를 보였으며, 이 격차는 PP와 TG에 일률적으로 적용되지 않습니다.
• 전반적인 추론 작업은 '웜 카드(warm card)' 상태에서 측정하는 것이 적절하며, 이는 냉각된 상태보다 지속적인 부하 테스트에 더 현실적입니다.
• 테스트 결과, 400w 전력 제한 조건에서 5090RTX의 PP 성능은 2135, TG 성능은 48.7로 측정되었습니다.