일본 디지털청의 정부 AI 'Gen'nai (GENAI)'를 AWS에서 로컬로 이전하여 모든 클라우드 의존성 제거하기
요약
일본 디지털청의 정부 AI 'Gen'nai'를 AWS 클라우드 의존성 없이 로컬에서 실행할 수 있도록 돕는 오픈 소스 프로젝트 'Open GENAI'를 소개합니다. Docker Compose를 통해 RAG, 음성 인식, 이미지 생성 등 다양한 기능을 로컬 환경에서 구축할 수 있습니다.
핵심 포인트
- AWS 서비스를 Keycloak, SQLite, Qdrant 등 오픈 소스로 대체
- Docker Compose를 활용한 간편한 로컬 환경 구축 지원
- Ollama, vLLM 등 OpenAI 호환 LLM 백엔드 사용 가능
- RAG, STT, 이미지 생성 등 핵심 AI 기능 내장
- Apple Silicon 및 NVIDIA GPU 환경 지원
일본 디지털청(Digital Agency)의 정부 AI "Gen'nai (GENAI)"를 AWS에서 로컬에서 실행되도록 이전하여, 모든 클라우드 의존성을 제거합니다.
https://
github.com/hirokawaguchi/
open-genai
Open GENAI는 일본 디지털청의 "Gen'nai (GENAI)"가 AWS에서 벗어나 완전히 로컬에서 실행될 수 있도록 하는 비공식 프로젝트입니다.
인증을 위해 Cognito를 Keycloak으로 대체하고, Lambda/Bedrock을 위해 로컬 FastAPI를, DynamoDB를 위해 SQLite를, OpenSearch를 위해 Qdrant를, Transcribe를 위해 faster-whisper를, 그리고 Bedrock 이미지 생성을 위해 Stable Diffusion을 사용합니다.
Docker Compose를 통해 클릭 한 번으로 시작할 수 있으며, LLM 백엔드는 Ollama, vLLM 또는 LM Studio와 같은 모든 OpenAI 호환 인터페이스를 사용할 수 있습니다.
내장 기능으로는 RAG (검색 증강 생성), 음성-텍스트 변환 (Speech-to-Text), 이미지 생성, 팀 관리, AI 앱 등록, Dify 워크플로우 통합 등이 포함됩니다. 이 프로젝트는 완전한 오픈 소스이며 macOS Apple Silicon뿐만 아니라 Linux + NVIDIA GPU에서도 실행됩니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X @qingq77 (검증됨)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기