Bodhi App

Windows Build

Release

Coverage

Ask DeepWiki

목차 (Table of Contents)

• 개요 (Overview)
• 기능 (Features)
• 설치 (Installation)
• 사용법 (Usage)
• 문서화 (Documentation)
• API 클라이언트 (API Client)
• 커뮤니티 (Community)
• 구동 엔진 (Powered By)

개요 (Overview)

Bodhi App은 사용자가 오픈 소스 LLM을 로컬에서 실행할 수 있도록 합니다. 이 앱은 open-source LLM weights 및 정보를 접근하기 위해 Huggingface 생태계를 활용하며, llama.cpp에 의해 구동됩니다.

로컬에서 LLM을 실행하는 데 도움이 되는 많은 앱들이 기술적인 사용자들을 대상으로 하는 반면, Bodhi App은 기술적 사용자와 비기술적 사용자를 모두 염두에 두고 설계되었습니다.

기술적 사용자의 경우, OpenAI와 호환되는 chat completions 및 models API 엔드포인트를 제공합니다. OpenAPI 표준을 따르는 포괄적인 API 문서가 포함되어 있으며, 개발자가 모든 API 엔드포인트를 실시간으로 탐색하고 테스트할 수 있는 내장 SwaggerUI 기능을 갖추고 있습니다.

비기술적 사용자의 경우, 시작하기 빠르고 이해하기 쉬운 내장 Chat UI를 제공합니다. 사용자들은 오픈 소스 모델을 빠르게 시작하고 자신에게 맞는 다양한 설정을 조정할 수 있습니다. 또한 이 앱은 사용자가 자신의 요구 사항에 맞고 로컬 하드웨어와 호환되는 새로운 오픈 소스 모델을 발견하고, 탐색하고, 다운로드할 수 있도록 지원합니다.

기능 (Features)

• 내장 채팅 UI (Built-in Chat UI): 실시간 스트리밍, 마크다운 지원 및 사용자 정의 설정이 가능한 직관적이고 반응성이 뛰어난 채팅 인터페이스를 즐기세요.
• 모델 관리 (Model Management): HuggingFace에서 GGUF 모델 파일을 직접 다운로드하고 관리할 수 있습니다.
• API 토큰 관리 (API Token Management): 외부 통합을 위한 API 토큰을 안전하게 생성하고 관리합니다.
• 동적 앱 설정 (Dynamic App Settings): 실행 변형(execution variant) 및 유휴 시간 초과(idle timeout)와 같은 애플리케이션 매개변수를 즉시 쉽게 조정할 수 있습니다.
• 반응형 디자인 (Responsive Design): 데스크톱과 모바일 장치 모두에서 원활하게 작동하는 완전히 적응형 레이아웃을 제공합니다.
• 강력한 오류 처리 (Robust Error Handling): 문제점을 신속하게 식별하고 해결할 수 있도록 포괄적인 오류 로깅 및 문제 해결 가이드를 제공합니다.

설치 (Installation)

Bodhi App은 현재 Mac 플랫폼에서만 출시되었습니다. GitHub 릴리스 페이지에서 릴리스를 다운로드하거나 Homebrew를 사용하여 설치할 수 있습니다.

Homebrew

Bodhi App은 외부 캐스크(cask)를 BodhiSearch/homebrew-apps에 호스팅합니다. 다음 명령어를 사용하여 Bodhi App을 설치하세요:

brew install --cask BodhiSearch/apps/bodhi

설치 후, /Applications 폴더에서 Bodhi App.app을 실행하세요. 시스템 트레이에 Bodhi App 아이콘이 표시되는 것을 확인할 수 있습니다. 시스템 트레이 메뉴에서 'Open Homepage'를 선택하여 홈페이지를 실행하세요.

GitHub Releases

릴리스(Releases) 페이지에서 사용자의 플랫폼에 맞는 최신 릴리스를 다운로드하세요.

압축을 풀고 Bodhi.app을 /Applications 폴더로 이동한 다음, 실행하세요. 시스템 트레이에 Bodhi App 아이콘이 표시되는 것을 확인할 수 있습니다. 시스템 트레이 메뉴에서 'Open Homepage'를 선택하여 홈페이지를 실행하세요.

Docker

Bodhi App은 여러 하드웨어 가속 변형(hardware acceleration variants)을 가진 Docker 이미지로 제공됩니다. 각 변형은 최고의 성능을 제공하기 위해 특정 하드웨어 구성에 최적화되어 있습니다.

사용 가능한 변형 (Available Variants)

• CPU 버전: 최대 호환성을 위한 표준 CPU 전용 추론 (다중 플랫폼 지원: AMD64 + ARM64)
• CUDA 버전: NVIDIA GPU 가속을 통한 NVIDIA 하드웨어에서 더 빠른 추론
• ROCm 버전: AMD 그래픽 카드를 위한 AMD GPU 가속
• Vulkan 버전: 여러 GPU 벤더를 지원하는 크로스 벤더 GPU 가속

빠른 시작 (Quick Start)

CPU 버전 (가장 호환성 높음 - AMD64/ARM64 자동 감지):

docker run -p 8080:8080 \
  -v ./bodhi_home:/data/bodhi_home \
  -v ./hf_home:/data/hf_home \
...

CUDA 버전 (NVIDIA GPU):

docker run --gpus all -p 8080:8080 \
  -v ./bodhi_home:/data/bodhi_home \
  -v ./hf_home:/data/hf_home \
...

ROCm 버전 (AMD GPU):

docker run --device=/dev/kfd --device=/dev/dri --group-add video -p 8080:8080 \
  -v ./bodhi_home:/data/bodhi_home \
  -v ./hf_home:/data/hf_home \
...

Vulkan 버전 (크로스 벤더 GPU):

docker run --device=/dev/dri -p 8080:8080 \
  -v ./bodhi_home:/data/bodhi_home \
  -v ./hf_home:/data/hf_home \
...

하드웨어 요구 사항 (Hardware Requirements)

• CPU: 표준 x86_64 (AMD64) 또는 ARM64 프로세서 (자동 감지)
• CUDA: CUDA 12.4 이상 지원 및 호환 드라이버가 설치된 NVIDIA GPU
• ROCm: ROCm 6.4 이상 지원 및 호환 드라이버가 설치된 AMD GPU
• Vulkan: Vulkan API 지원 및 호환 드라이버가 설치된 GPU

볼륨 마운트 (Volume Mounts)

• /data/bodhi_home: 애플리케이션 데이터, 설정 및 다운로드한 모델
• /data/hf_home: 모델 다운로드를 위한 HuggingFace 캐시 디렉토리

컨테이너를 시작한 후, Bodhi App은 http://localhost:8080에서 사용할 수 있습니다.

설정 (Setup)

최초 실행 시, Bodhi App은 설정 흐름(setup flow)으로 시작됩니다. 이 과정을 따라 로컬 머신에 Bodhi App을 구성하고 설치하여 사용을 시작할 수 있습니다.

문서화 (Documentation)

Bodhi App에는 내장된 문서가 제공됩니다:

• 사용자 가이드: http://localhost:1135/docs/ 에서 접속
• 기술 문서: http://localhost:1135/swagger-ui/ 에서 OpenAPI Swagger UI로 이용 가능

API 클라이언트

Bodhi App은 API와 쉽게 통합할 수 있도록 TypeScript 클라이언트를 제공합니다:

설치

npm install @bodhiapp/ts-client

사용법

import { BodhiClient } from "@bodhiapp/ts-client";

// 클라이언트 초기화
...

더 자세한 정보는 ts-client 문서를 참조하세요.

커뮤니티

웹 및 데스크톱

Open WebUI

(커뮤니티 통합을 포함하려면 README.md에 풀 리퀘스트를 열어주세요)

구동 엔진

llama.cpp

huggingface.co