NobodyWho - 앱과 게임에 로컬 AI를 넣는 온디바이스 추론 엔진

• 클라우드 API 대신
  사용자의 기기에서 AI 모델을 실행해, 앱과 게임에 대화·이미지 이해·음성 기능을 넣는 오픈소스 추론 엔진

• 모델을 내려받으면
  인터넷 연결이나 API 키 없이 실행할 수 있으며, 사용자 입력을 외부 서버로 보내지 않고 처리 가능

• Python, Kotlin, Swift, React Native/Expo, Flutter와 Godot용 연동을 제공해
  데스크톱·모바일 앱과 게임에 AI 기능을 직접 내장
  앱의 함수를 AI가 호출할 도구로 연결할 수 있으며, 함수의 인자 이름과 타입을 읽어 호출 형식을 자동 구성

• 별도의 JSON 스키마를 작성하는 부담을 줄이고, 모델이 여러 도구를 이어서 호출하도록 지원

• 지원하는 멀티모달 모델을 연결하면
  이미지와 음성을 직접 입력해 사진 속 사물이나 말투, 주변 소리 등을 질문 가능

• Whisper 음성 인식, 음성 합성과 발화 감지를 제공해
  사용자의 말을 듣고 음성으로 답하는 기능을 로컬에서 구현 가능

• 임베딩과 검색 결과 재정렬을 지원해,
  앱에 보관된 문서에서 관련 내용을 찾아 답하는 RAG 구성 가능

• Rust와 llama.cpp 기반으로 Gemma, Qwen, Mistral 등 GGUF 모델을 실행

• Vulkan·Metal GPU 가속과 CPU 실행을 지원하며, GPU 메모리에 맞춰 모델 일부만 올리고 나머지는 CPU에서 처리

• Hugging Face 모델 주소, HTTPS URL이나 로컬 파일로 모델을 지정하며, 원격 모델은 자동 다운로드·캐시

• 사용 가능한 메모리에 맞춰 모델을 선택하는
  auto

옵션 제공

• 실험적인
  OpenAI Chat Completions 호환 로컬 서버도 제공해 기존 API 클라이언트에서 연결 가능
• EUPL-1.2 라이선스

댓글과 토론