최종 몬스터: AMD MI50 32GB x32 개 (9.7 토크/초 및 264 토크/초 성능)

요약

본 기사는 AMD MI50 GPU 32개를 활용하여 대규모 언어 모델(LLM) 추론 시스템을 구축하고 그 성능을 공유합니다. 이 설정은 16개 GPU가 장착된 두 개의 노드를 10G 이더넷으로 연결한 형태로, Kimi-K2.6 모델에서 초당 9.7 토큰의 출력 및 263 토큰의 입력 처리 속도를 달성했습니다. 전력 소모는 피크 추론 시 약 4,800W에 달하며, 시스템 성능 향상을 위해 PCIe 대역폭 최적화와 vLLM 소프트웨어 스택 개선이 필요함을 언급합니다.

핵심 포인트

• AMD MI50 GPU 32개(2노드 구성)를 활용한 고성능 LLM 추론 환경 구축 사례입니다.
• Kimi-K2.6 모델에서 초당 출력 9.7 tok/s, 입력 263 tok/s의 성능을 기록했습니다.
• 시스템은 최대 4,800W에 달하는 높은 전력을 소모하며, 효율적인 운영을 위해서는 전력 및 에너지 공급처가 중요합니다.
• 최적의 성능을 위해 PCIe 대역폭(x16 또는 x8) 확보와 vLLM 소프트웨어 스택 최적화가 핵심 과제입니다.