일본 디지털청의 정부 AI 'Gen'nai (GENAI)'를 AWS에서 로컬로 이전하여 모든 클라우드 의존성 제거하기

요약

일본 디지털청의 정부 AI 'Gen'nai'를 AWS 클라우드 의존성 없이 로컬에서 실행할 수 있도록 돕는 오픈 소스 프로젝트 'Open GENAI'를 소개합니다. Docker Compose를 통해 RAG, 음성 인식, 이미지 생성 등 다양한 기능을 로컬 환경에서 구축할 수 있습니다.

핵심 포인트

• AWS 서비스를 Keycloak, SQLite, Qdrant 등 오픈 소스로 대체
• Docker Compose를 활용한 간편한 로컬 환경 구축 지원
• Ollama, vLLM 등 OpenAI 호환 LLM 백엔드 사용 가능
• RAG, STT, 이미지 생성 등 핵심 AI 기능 내장
• Apple Silicon 및 NVIDIA GPU 환경 지원