AI21, AI 워크로드 대기 시간을 83% 단축하다

요약

AI21은 GKE와 AI Hypercomputer 환경에서 Kueue를 활용하여 수천 개의 NVIDIA H100 및 H200 GPU 자원을 오케스트레이션했습니다. 이를 통해 고우선순위 AI 워크로드의 대기 시간을 72시간에서 12시간으로 크게 단축하는 성과를 거두었습니다.

핵심 포인트

• AI 워크로드 대기 시간을 83%까지 단축한 기술적 성과.
• GKE와 Kueue를 활용하여 GPU 자원을 효율적으로 오케스트레이션함.
• H100 및 H200 등 고성능 GPU 자원 관리가 핵심 요소임.