Intel® AI for Enterprise Inference

이 프로젝트는 다음으로 이동했습니다.

Intel® AI for Enterprise Inference →

⚠️ 이 저장소는 더 이상 활발하게 유지보수되지 않습니다.

향후 개발, 업데이트 및 지원은 새 저장소에서 이용할 수 있습니다.

Intel Silicon에서 AI 추론의 힘을 발휘하세요

Intel® AI for Enterprise Inference는 Intel 하드웨어에서 AI 추론 서비스의 배포 및 관리를 간소화하고 향상시키는 것을 목표로 합니다. Kubernetes Orchestration의 강력한 기능을 활용하여, 이 솔루션은 LLM 모델의 배포를 자동화하여 더 빠른 추론을 실행하고, 컴퓨팅 리소스를 프로비저닝하며, 복잡성을 최소화하고 수동 노력을 줄이기 위한 최적의 설정을 구성합니다.

이 솔루션은 Intel® Xeon® Scalable 프로세서 및 Intel® Gaudi® AI Accelerators를 포함한 광범위한 Intel 하드웨어 플랫폼을 지원하여 다양한 엔터프라이즈 요구 사항을 충족하는 유연성과 확장성을 보장합니다.

OPEA가 구동하는 Intel® AI for Enterprise Inference는 OpenAI 표준 API와 호환되어 온프레미스 및 클라우드 네이티브 환경의 엔터프라이즈 애플리케이션에 원활하게 통합할 수 있습니다. 이러한 호환성은 기업들이 AI 모델을 쉽게 배포하면서 Intel 하드웨어의 모든 기능을 활용할 수 있도록 합니다. 이 제품군을 통해 기업들은 새로운 모델과 증가하는 요구 사항에 어려움 없이 적응하며, AI 인프라를 효율적으로 구성하고 발전시킬 수 있습니다.

Kubernetes: 컨테이너화된 애플리케이션의 배포, 스케일링 및 관리를 자동화하는 강력한 컨테이너 오케스트레이션 플랫폼으로, 높은 가용성과 효율적인 자원 활용을 보장합니다.Intel Gaudi Base Operator: Kubernetes 클러스터 내에서 Habana AI 리소스의 수명 주기를 관리하는 전문 오퍼레이터로, AI 워크로드에 대한 Intel® Gaudi® 하드웨어의 효율적인 활용을 가능하게 합니다. (Gaudi 기반 배포에만 적용)Ingress NGINX Controller: 트래픽을 위한 고성능 리버스 프록시 및 로드 밸런서로, 들어오는 요청을 Kubernetes 클러스터 내 적절한 서비스로 라우팅하여 배포된 AI 모델에 대한 원활한 접근을 보장합니다.Keycloak: 강력한 인증 및 권한 부여 기능을 제공하는 오픈 소스 ID 및 액세스 관리(Identity and Access Management) 솔루션으로, 클러스터 내 AI 서비스 및 리소스에 대한 안전한 접근을 보장합니다.APISIX: API 트래픽을 처리하고 캐싱, 인증과 같은 고급 기능을 제공하는 클라우드 네이티브 API 게이트웨이로, 배포된 AI 모델에 대한 효율적이고 안전한 접근을 가능하게 합니다.Observability: Kubernetes 클러스터 내에서 네이티브하게 작동하도록 설계된 오픈 소스 모니터링 솔루션으로, 메트릭(metrics), 시각화 및 알림 기능을 통해 배포된 애플리케이션 및 클러스터 구성 요소의 성능, 상태 및 자원 활용에 대한 포괄적인 가시성을 제공합니다.Model Deployments: Kubernetes 추론 클러스터 내에서 AI LLM 모델을 자동 배포하고 관리하여, 확장 가능하고 신뢰할 수 있는 AI 추론 기능을 가능하게 합니다.GenAI Gateway: LiteLLM과 Langfuse를 활용하는 통합 게이트웨이로, 생성형 AI(Generative AI) 모델의 라우팅 및 관리를 위한 유연한 인터페이스를 제공합니다. 사용자 및 키 관리, 사용자 토큰 텔레메트리, LLM 추론 워크플로우에 대한 분석 기능을 가능하게 합니다.

AI 추론 서비스 배포 자동화(AI Inference as a Service Deployment Automation)에 대한 사용 지침은 docs/README.md 파일에서 확인할 수 있습니다.

설정을 하려면 docs/README.md 파일을 제공하는 단계별 지침을 따르십시오.

기능 요청, 버그 또는 프로젝트 관련 질문이 있는 경우 GitHub Issues 페이지에 이슈를 열어주세요. 재현 단계(steps to reproduce), 예상 동작(expected behavior), 실제 동작(actual behavior) 등 가능한 한 많은 세부 정보를 제공해 주시기 바랍니다.

Intel® AI for Enterprise Inference는 Apache License Version 2.0 하에 라이선스가 부여됩니다. 전체 라이선스 텍스트와 저작권 고지는 "LICENSE" 파일을 참조하십시오.

보안 정책(Security Policy)은 Intel® AI for Enterprise Inference를 사용하는 사용자들에게 최고 수준의 보안과 신뢰를 보장하기 위한 우리의 지침 및 절차를 설명합니다.

Intel, Intel 로고, Xeon, 그리고 Gaudi는 Intel Corporation 또는 그 자회사의 상표입니다.

• 다른 이름과 브랜드는 타인의 소유일 수 있습니다. © Intel Corporation