boneylizard/Eloquent

가장 기능이 완벽한 로컬 AI 워크스테이션. 구독 없음. 클라우드 의존성 없음. 오직 당신의 하드웨어만 사용합니다.

다른 모든 이들이 화려한 프리셋을 갖춘 또 다른 채팅 UI를 출시할 때, Eloquent는 내장형 Stable Diffusion (Stable Diffusion), 멀티 GPU 추론 (multi-GPU inference), 음성 복제 (voice cloning), 모델 ELO 테스트 (model ELO testing), 도구 호출 코드 에디터 (tool-calling code editor), 멀티 역할 채팅 (multi-role chat), 그리고 법언어학 (forensic linguistics) 기능을 제공하며, 이 모든 기능은 로컬에서 실행됩니다.

원할 때 사용할 수 있는 선택적 클라우드 API도 제공됩니다. 당신의 선택입니다.

단일 애플리케이션: LLM + 이미지 생성 + 음성 + 코드 도구 + 모델 평가
작동하는 멀티 GPU (Multi-GPU): 통합 텐서 분할 (Unified tensor splitting) 또는 전용 GPU 할당
채팅 그 이상: ELO 테스트 프레임워크, 법언어학, 스토리 상태 추적, 멀티 역할 대화
프로덕션 기능: 음성 복제, 이미지 업스케일링 (image upscaling), 대화 요약, 에이전트 모드 (agent mode)

내가 하고 싶은 것...	이렇게 하세요
음성으로 채팅하기	install.bat → run.bat → GGUF 로드 → Auto-TTS 활성화
이미지 생성하기	폴더에 .safetensors 파일을 넣기 → Settings → Image Gen → 경로 설정
이미지 업스케일링	이미지 생성 → Upscale 클릭 → 2x/3x/4x 선택
다중 캐릭터 역할극	Settings → Multi-Role 활성화 → 명단에 캐릭터 추가
모델 테스트하기	Model Tester → 프롬프트 가져오기 → ELO 레이팅과 함께 A/B 테스트 실행
AI로 코드 편집하기	Devstral 로드 → Code Editor → 프로젝트 디렉토리 설정
체스 게임 (AI + 성격)	내비바의 Chess 탭 (install.bat에 의해 Stockfish가 자동으로 설치됨)
음성 복제하기	Settings → Audio → Chatterbox Turbo → 참조 파일 업로드

NVIDIA GPU를 사용하는 파워 유저 중 5개의 서로 다른 도구를 번갈아 사용하는 대신 완전한 로컬 AI 스택을 원하는 분들.

역할극 플레이어 및 작가 중 하나의 앱에서 다중 캐릭터 대화, 스토리 상태, 초상화, 음성이 필요한 분들.

모델 평가자 중 연구 인프라를 구축하지 않고 ELO 테스트와 저지 오케스트레이션 (judge orchestration)을 원하는 분들.

개인정보 보호 우선 사용자 중 대화 내용이 자신의 기기를 벗어나는 것을 원치 않는 분들.

• NVIDIA GPU를 사용하지 않는 경우
• Mac 또는 Linux를 사용하는 경우 (Windows 전용)

다중 역할 대화 (Multi-Role Conversations)

• 자동 화자 선택 기능이 포함된 하나의 채팅 내 다수 캐릭터 구현
• 캐릭터별 TTS (Text-to-Speech) 음성 및 말하기 빈도 (talkativeness) 가중치 설정
• 삽입 빈도 조절이 가능한 선택적 내레이터 (narrator) 기능
• 페르소나 전환을 위한 사용자 프로필 선택기
• 공유 설정을 위한 그룹 장면 문맥 (Group scene context)

스토리 관리 (Story Management)

스토리 트래커 (Story Tracker): 캐릭터, 위치, 인벤토리, 목표를 AI 문맥 (context)에 주입
장면 요약 (Scene Summary): AI를 현재의 분위기와 상황에 고정시키는 지속적인 문맥
선택 생성기 (Choice Generator): 6가지 행동 모드(드라마틱, 혼돈, 로맨틱 등)를 가진 문맥 기반 행동
디렉터 모드 (Director Mode): 플롯 조종을 위해 캐릭터 행동과 서사적 흐름 (narrative beats) 사이를 전환
대화 요약 (Conversation Summaries): 연속성을 위해 요약을 저장하고 새로운 채팅에 로드

표준 기능 (Standard Features)

• AI 생성 초상화가 포함된 캐릭터 라이브러리 및 제작 도구
• 문서 주입 및 웹 검색을 통한 메모리 및 RAG (Retrieval-Augmented Generation)
• 직접적인 AI 가이드를 위한 저자의 노트 (Author's Note)
• 포커스 모드 (Focus Mode) 및 콜 모드 (Call Mode) 인터페이스

다중 GPU 지원 (Multi-GPU Support)

• 2, 3, 4개 이상의 GPU에 걸친 통합 텐서 분할 (tensor splitting)
• 전용 GPU 할당을 통한 분할 서비스 (Split-services) 모드
• 판사 모델 (judge models) 및 메모리 에이전트를 위한 용도별 슬롯
• 실시간 VRAM 모니터링

모델 호환성 (Model Compatibility)

• llama.cpp를 통한 로컬 GGUF 모델
• OpenAI 호환 API (OpenRouter, 로컬 프록시, Chub.ai)
• 로컬 모델과 API 모델의 동시 사용

로컬 Stable Diffusion

• SD 1.5, SDXL, FLUX 지원 (safetensors/ckpt/gguf)
• YOLO 얼굴 감지 및 인페인팅 (inpainting) 기능이 포함된 커스텀 ADetailer
• "장면 시각화 (Visualize Scene)" - 채팅 문맥으로부터 이미지 자동 생성
• 생성된 이미지를 채팅 배경으로 설정

이미지 업스케일링 (Image Upscaling)

• ESRGAN 모델을 사용한 가변 업스케일링: 2x, 3x, 4x
• 다양한 업스케일러 가중치를 위한 모델 선택기

클라우드 폴백 (Cloud Fallback) (선택 사항)

• 로컬 GPU 없이 이미지 생성을 위한 NanoGPT API
• 실험적 비디오 생성 (사용량 기반 결제)

TTS 엔진 (TTS Engines)

Kokoro: 다양한 목소리를 지원하는 빠른 신경 합성 (Neural Synthesis)
Chatterbox: 참조 샘플을 통한 음성 복제 (Voice Cloning)
Chatterbox Turbo: 준언어적 단서([laugh], [sigh], [cough])를 활용한 강화된 복제

주요 기능 (Features)

• 낮은 지연 시간 (Low Latency)을 위한 청크 단위 스트리밍 파이프라인 (Chunked streaming pipeline)
• 원클릭 토글로 사용 가능한 자동 TTS (Auto-TTS)
• 콜 모드 (Call Mode): 애니메이션 아바타와 함께하는 전체 화면 음성 대화
• 다중 역할 채팅 시 캐릭터별 음성 할당

ELO 테스트 프레임워크 (ELO Testing Framework)

• 프롬프트 컬렉션 (MT-Bench, 사용자 정의)에 대한 단일 모델 테스트
• ELO 업데이트를 포함한 A/B 헤드 투 헤드 (Head-to-head) 비교
• 조정 (Reconciliation) 기능이 포함된 이중 심사 (Dual-judge) 모드
• 사용자 정의 평가 기준을 통한 캐릭터 인식 심사
• 파라미터 스윕 (Parameter sweeps: temperature, top_p, top_k)
• 6-Year-Old Transformer Boy, Al Swearengen, Bill Burr, Alex Jones를 포함한 14가지 내장 분석 관점
• 전체 메타데이터를 포함한 결과물 가져오기/내보내기

도구 호출 에이전트 (Tool-Calling Agent)

• Devstral Small 2 24B (로컬) 또는 Devstral Large (OpenRouter)
• 자동 .bak 백업을 포함한 파일 작업
• 셸 실행 (Shell execution) (선택 사항, 샌드박스 처리됨)
• 스크린샷을 통한 비전 (Vision) 지원

에이전트 모드 기능 (Agent Mode Features)

• 사고의 사슬 (Chain of Thought) 시각화 - 작업 수행 전 추론 과정 확인
• 환각 구조 (Hallucination Rescue) - JSON 파싱 실패 시에도 의도된 도구를 실행
• 무한 파일 읽기를 방지하는 루프 감지 (Loop detection)
• 전체 드라이브 탐색이 가능한 파일 탐색기

보안 (Security)

• 작업 디렉토리로 샌드박스 (Sandboxed) 처리
• 선택적 명령 실행
• 파일 쓰기 시 자동 백업

법언 언어학 (Forensic Linguistics)

• 저자 분석 (Authorship analysis) 및 문체 비교
• 플러그인 방식의 임베딩 모델 (BGE-M3, GTE, RoBERTa, Jina, Nomic)
• 문서 또는 스크랩된 텍스트로부터 코퍼스 (Corpora) 구축

UI 및 커스터마이징 (UI & Customization)

• 5가지 프리미엄 테마: Claude, Messenger, WhatsApp, Cyberpunk, ChatGPT Light
• 텍스트 서식: 인용구 강조, H1-H3 헤딩, 단락 제어
• 설정 자동 저장 (디렉토리는 수동 저장 필요)

휴대폰 및 태블릿을 위한 완전한 모바일 최적화.

• 전체적으로 터치 친화적인 UI를 갖춘 반응형 디자인 (Responsive design)
• 유니버설 액세스 (Universal access): 자동 0.0.0.0 바인딩 및 로컬 네트워크 연결을 위한 IP 검색 - iOS 및 Android에서 신뢰할 수 있는 TTS를 위한 네이티브 오디오 처리
• 휴대폰/태블릿 사용을 위해 설계된 모바일 우선 테마 (Messenger, WhatsApp)
• 터치에 최적화된 컨트롤 및 적응형 레이아웃 (Adaptive layouts)

스토리 트래커 (Story Tracker), 선택지 생성기 (Choice Generator), 스트리밍 TTS, 모델 제어를 포함한 전체 채팅.

실시간 스트리밍 재생을 지원하는 음성 복제 (Voice cloning).

내장된 Stable Diffusion을 통한 AI 생성 캐릭터 초상화.

이중 심사관 화해 (Dual-judge reconciliation)를 통한 전문적인 모델 평가.

• Windows 10/11 (64-bit)
• CUDA를 지원하는 NVIDIA GPU
• Python 3.11 또는 3.12
• Node.js v21.7.3 (권장). Node 22는 테스트되지 않았습니다. 모델/디렉토리 설정을 위해 Browse를 사용할 때 백엔드 창이 닫힌다면, Node 21.7.3을 사용하거나 폴더 경로를 수동으로 입력하십시오.

사용 사례	권장 VRAM
소형 모델 (7B Q4)	8GB
...

git clone https://github.com/boneylizard/Eloquent
cd Eloquent
install.bat # 완료될 때까지 대기 (5-10분)
...

설치 프로그램이 Python 가상 환경 (venv), CUDA 12.1 기반의 PyTorch, 사전 빌드된 휠 (pre-built wheels), 모든 종속성 (dependencies)을 처리합니다.

기본 포트:

• 백엔드 (Backend):
  http://localhost:8000

• TTS:
  http://localhost:8002

• 프론트엔드 (Frontend):
  http://localhost:5173

포트 충돌은 자동으로 처리되며, 프론트엔드가 실제 포트를 검색합니다.

• 설정 (Settings) → 모델 설정 (Model Settings) → GGUF 디렉토리 설정

• 모델 선택기 (Model Selector) → GPU별 또는 통합 멀티 GPU (unified multi-GPU) 선택

• 원하는 경우 OpenAI 호환 API 엔드포인트 추가

• 설정 (Settings) → 이미지 생성 (Image Generation) → safetensors 디렉토리 설정

• ADetailer 모델 (ADetailer Models) → YOLO .pt 파일 지정 - 업스케일러 모델 (Upscaler Models) → ESRGAN .pth 파일 지정

• 설정 (Settings) → 오디오 (Audio) → Kokoro 또는 Chatterbox/Chatterbox Turbo 선택

• 복제를 위해: 참조 샘플 업로드

• 채팅에서 Auto-TTS 토글 활성화

• Settings (설정) → enable Multi-Role Chat (다중 역할 채팅 활성화)

• Click roster button (로스터 버튼 클릭) → add characters (캐릭터 추가)

• Set talkativeness weights (말하기 비중 설정) and voices (목소리)

• Optionally enable narrator (선택 사항: 내레이터 활성화)

Chess (체스) 탭은 분석을 위해 Stockfish를 사용합니다. Fresh installs (신규 설치 시): install.bat를 실행하면 Stockfish 설치 프로그램이 자동으로 실행됩니다 (tools/stockfish/ 디렉토리에 공식 Windows 빌드를 다운로드합니다).

만약 해당 단계가 실패했다면 (예: 네트워크 없음), 리포지토리 루트에서 install_stockfish.bat를 실행하거나 python scripts/install_stockfish.py를 실행하세요. 또한 Stockfish를 수동으로 설치하고 STOCKFISH_PATH를 stockfish.exe 경로로 설정할 수도 있습니다. 그 후 Chess 탭을 열어 ELO와 성격(personality)을 설정하고 백(White)으로 플레이하면, AI가 흑(Black)으로 플레이하며 선택적으로 LLM 해설을 제공합니다.

문제	해결 방법
Missing dependencies (의존성 누락)	install.bat를 다시 실행하거나 누락된 패키지를 pip install 하세요
...

Multi-Character Roleplay (다중 캐릭터 역할극)

• 설정에서 Multi-Role 활성화
• 서로 다른 목소리를 가진 3~4명의 캐릭터를 로스터에 추가
• 말하기 비중(talkativeness weights) 설정 (조용한 캐릭터 = 0.3, 시끄러운 캐릭터 = 1.5)
• 5턴마다 장면 설정을 위해 내레이터(narrator) 활성화
• 세계관 상태(world state) 유지를 위해 Story Tracker 사용
• 내장된 SD(Stable Diffusion)로 초상화 생성

Model Evaluation (모델 평가)

• MT-Bench 프롬프트 가져오기
• 두 개의 70B 모델 간 A/B 테스트 실행
• Al Swearengen과 Bill Burr를 이용한 dual-judge(이중 심사) 활성화
• Temperature(온도)에 대한 parameter sweep(매개변수 탐색) 실행
• ELO 순위와 함께 결과 내보내기

Local Cursor Alternative (로컬 Cursor 대안)

• Devstral Small 2 24B 로드
• Code Editor (코드 에디터) 열기 → 프로젝트 디렉토리 설정
• Chain of Thought (사고의 사슬)를 활성화하여 추론 과정 확인
• 모듈 리팩토링 요청
• 도구 실행을 실시간으로 관찰

Long-Form Writing (장문 글쓰기)

• 캐릭터를 로드하고 Story Tracker 활성화
• Director Mode (감독 모드)를 사용하여 플롯 비트(plot beats) 유도
• 장면 시각화 생성
• 매 장(chapter)마다 대화 요약본 저장
• 연속성을 위해 요약본을 새로운 채팅에 로드

지표	값
Total lines of code (총 코드 라인 수)	50,000+
...

상세한 버전 기록 및 업데이트 사항은 CHANGELOG.md를 참조하세요.

기여(Contributions)를 환영합니다.

GNU Affero General Public License v3.0에 따라 라이선스가 부여됩니다.

• llama.cpp 및 llama-cpp-python
• stable-diffusion.cpp 및 stable-diffusion-cpp-python
• Kokoro TTS
• Chatterbox TTS
• ultralytics YOLO
• FastAPI
• React

Bernard Peter Fitzgerald (@boneylizard)

Eloquent – your GPUs deserve better.