AI 추론 비용 최대 10분의 1로…오픈소스 ‘llm-d 1.0’ 공개, 기업용 AI 대규모 운영 본격화

요약

IBM, Red Hat 등 주요 기업들이 참여한 분산 추론 프로젝트를 통해 오픈소스 'llm-d 1.0'이 공개되었습니다. 이 도구는 AI 추론 비용을 최대 1/10로 낮추고, 대규모 코딩 에이전트(3,000개) 처리가 가능하여 기업용 AI 운영의 새로운 기준을 제시합니다.

핵심 포인트

• 오픈소스 'llm-d 1.0' 공개로 추론 비용 절감 기대 효과 증대
• AI 추론 비용을 최대 1/10 수준으로 혁신적으로 낮춤
• IBM, Nvidia 등 거대 기업들이 참여한 분산 프로젝트 결과물
• 동시 3,000개 코딩 에이전트 처리 및 대규모 운영 가능성 입증