NVIDIA Run:ai - 여러 팀이 GPU를 나눠 쓰도록 관리하는 Kubernetes 기반 플랫폼
요약
NVIDIA Run:ai는 여러 팀이 공유하는 GPU 인프라에서 AI 개발, 학습, 추론 작업을 효율적으로 관리하고 자원을 배분하는 Kubernetes 기반 오픈소스 플랫폼입니다. 이 플랫폼은 GPU를 여러 작업에 동적으로 할당하여 유휴 자원을 최소화하며, 공정한 자원 사용과 접근 권한 관리를 지원합니다.
핵심 포인트
- GPU 하나를 여러 작업에 나눠 할당하여 유휴 자원을 줄이는 것이 핵심입니다.
- Kubernetes 기반으로 온프레미스 및 클라우드 환경에 배포 가능합니다.
- 작업 우선순위, 공정한 배분 등 복잡한 자원 관리를 지원합니다.
- Kubeflow, Ray, KServe 등 기존 AI 워크플로우 도구와 연동됩니다.
- 여러 팀이 공유하는 GPU 인프라에서
AI 개발, 학습, 추론 작업을 배치하고 자원을 배분하는 NVIDIA의 오픈소스 플랫폼 GPU 하나를 여러 작업에 나눠 할당하고, 남는 자원을 동적으로 활용해 유휴 GPU를 줄이는 방식- 작업 우선순위와 공정한 배분, 자원 회수, GPU 간 연결 구조를 고려한 배치 지원 - 부서와 프로젝트별
GPU 할당량과 사용 정책을 설정해 특정 팀의 자원 독점 방지 - 여러 Kubernetes 클러스터의 작업과 자원을 한곳에서 관리하며, 온프레미스와 클라우드, 혼합 환경에 배포 가능 - 개발용 작업 공간부터 단일/분산 학습, 추론 서비스까지 관리하고 Kubeflow, Ray, KServe 등과 연동
- 웹 UI와 CLI, REST API를 제공하며,
MCP 서버로 AI 어시스턴트에서도 작업 가능 - GPU와 노드, 작업별 자원 사용량을 모니터링하고 역할별 접근 권한 관리 - Kubernetes/OpenShift에 자체 설치하며 폐쇄망 배포 지원.
오픈소스 배포판은 NGC 인증 없이 설치 가능 - Apache 2.0 라이선스
AI 자동 생성 콘텐츠
본 콘텐츠는 RSS: GeekNews (한국어)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0