안녕하세요, Ghost의 개발자입니다. Ghost란 무엇인가: 브라우저를 사용하거나 별개의 프로젝트들을 짜깁기할 필요 없이, 로컬 모델에 적절한 UI, 도구 하네스 (tool harness), 그리고 RAG 시스템을 제공하는 네이티브 macOS 앱입니다. 로컬 모델 스토리: Ghost는 Claude, Gemini, DeepSeek, OpenCode Go, OpenCode Zen과 나란히 일급 제공자 (first-class providers)로서 Ollama (localhost:11434) 및 LM Studio (localhost:1234)에 연결됩니다. 어떤 모델이 어떤 종류의 질문에 답할지 직접 선택할 수 있습니다. 첫 실행 시, Ghost는 각 로컬 모델이 실제로 무엇을 할 수 있는지 파악하기 위해 모든 모델을 조사합니다: 네이티브 도구 호출 (native tool calling)을 지원하는가? JSON 모드를 지원하는가? 구조화된 출력 (structured outputs)의 정확도는 어느 정도인가? 결과에 따라 Ghost는 각 모델에 호출 규약 (calling convention) — native_tool_calls, json_action_mode, harness_first, 또는 answer_only — 를 할당합니다. 따라서 함수 호출 (function calling)을 할 수 없는 로컬 모델도 구조화된 JSON 경로를 통해 도구에 접근할 수 있으며, 신뢰할 수 없는 도구 호출을 생성하는 모델은 조용히 오류가 발생하는 대신 우아하게 폴백 (fallback)됩니다. 실제로 작동하는 로컬 RAG: Ghost는 사용자가 승인한 폴더를 FTS5 전체 텍스트 검색 (full-text search), WAL 모드, 문장 인식 청킹 (sentence-aware chunking, 3,500자 / 500자 중첩)을 사용하는 로컬 SQLite 데이터베이스로 인덱싱하며, PDF 및 마크다운 (markdown)의 메타데이터를 보존합니다. FSEvents를 통해 실시간으로 동기화 상태를 유지합니다 (8초 디바운스, 회당 5만 개 파일). 쿼리 결과는 파일 경로가 포함된 출처 명시적 청크 (source-attributed chunks)를 반환하며, Ghost는 정확한 파일의 정확한 줄을 열 수 있습니다. 모든 주요 프로그래밍 언어를 포함하여 30개 이상의 형식을 지원합니다. 모든 것은 사용자의 기기에 머뭅니다. 임베딩 (embeddings) API도, 벡터 DB SaaS도 필요 없습니다. 오직 SQLite만 사용합니다. 로컬 모델을 위한 도구 하네스 (tool harness): 모델은 사용자의 파일 시스템에 직접 접근하지 않습니다. 모델이 액션을 요청하면, Ghost가 경로를 정규화하고, 권한을 확인하며, 앱 소유의 Swift 코드를 실행한 뒤, 기계가 읽을 수 있는 영수증 (receipt)을 반환합니다. 파일 작업, 문서 생성 (네이티브 프레임워크를 통한 PDF, DOCX, PPTX 등), grep, glob, zip, 캘린더 (Calendar), 미리 알림 (Reminders), 화면 OCR, 음성 입력 등 60개 이상의 도구가 있습니다. 4단계의 위험 등급이 있으며, 5개의 독립적인 권한 스위치가 있습니다 (모두 기본적으로 꺼져 있음).

최대 100개의 액션에 대해 이전/이후 스냅샷을 제공하는 실행 취소 저널 (undo journal)이 있습니다. 이것이 특히 로컬 모델 (local models)에 중요한 이유는 다음과 같습니다: 대부분의 로컬 모델 UI는 복사 및 붙여넣기만 가능한 채팅창 형태입니다. Ghost는 로컬 모델에게 호스팅된 모델 (hosted models)이 받는 것과 동일한 도구 하네스 (tool harness), RAG 파이프라인 (RAG pipeline), 그리고 라우팅 로직 (routing logic)을 제공합니다. 따라서 사용자의 Llama, Mistral 또는 Qwen 모델이 네이티브 인터페이스에서 파일을 검색하고, 문서를 생성하며, 이벤트를 예약하고, 검증된 액션을 실행할 수 있습니다. 개인정보 보호 (Privacy): API 키는 macOS 키체인 (Keychain)에 저장됩니다. 로컬 제공업체는 에이전트 모드 (agent mode)를 실행할 수 없습니다. Ollama 또는 LM Studio를 사용할 때는 어떤 데이터도 기기를 벗어나지 않습니다. 가격 (Pricing): 2일 무료 체험, 10달러의 1회성 평생 라이선스. 로컬 모델은 영원히 무료로 사용할 수 있습니다. 호스팅된 모델은 사용자의 자체 API 키가 필요합니다. GitHub: https://github.com/ryuhemingway/Ghost-App 웹사이트: https://integratedagentics.com/ghost Apple 인증 완료, macOS 14 이상 지원. Mac에서 로컬 LLM (local LLMs)을 실행하는 다른 분들의 피드백을 받고 싶습니다. 특히 도구 호출 (tool calling)의 신뢰성과 다음에 어떤 모델을 조사(probe)하기를 원하는지에 대해 의견을 부탁드립니다. /u/Tunashavetoes가 r/LocalLLaMA에 제출함 [link] [comments]