CoreWeave CTO Peter Salanki가 예측하는 AI 인프라 경제의 방향성

요약

CoreWeave CTO Peter Salanki가 AI 인프라 경제의 방향성을 제시했습니다. 컴퓨팅 자원의 상당 부분이 추론에 사용되며, 시스템 규모가 커지면서 처리량과 안정적인 오케스트레이션이 중요해지고 있습니다. 또한, 워크로드 전문화와 효율적인 비용 절감 기술이 핵심 경쟁력이 될 것이라고 전망합니다.

핵심 포인트

• AI 인프라 자원의 50%가 추론(inference)에 사용되고 있다.
• 시스템 규모에서는 가동 시간보다 처리량과 완료된 작업량이 중요하다.
• 구형 GPU는 워크로드 전문화를 통해 디코드 및 소규모 모델 추론에 활용 가능하다.
• 효율적인 오케스트레이션은 토큰당 비용 절감의 핵심 요소다.