오랫동안 지켜봐 왔는데, 이 서브레딧이 바로 LokalBot이 존재하는 이유인 것 같습니다. LokalBot은 사용자의 기기에서 모든 모델을 구동하는 Mac 앱으로, 회의를 녹음하고 요약하며, 어떤 앱에서든 타이핑을 자동 완성하고, 하루 일과가 어떻게 흘러갔는지 추적해 줍니다. 클라우드 연결도 없고, 계정도 필요 없으며, API 키도 필요 없습니다.

LokalBot이 제공하는 워크플로우 중 대부분은 그동안 Granola나 Cotypist 등 여러 개의 개별 앱을 사용해서 처리했던 것들입니다. 하지만 이제는 별도의 3rd party 추론 비용 없이 이 모든 것을 하나의 앱으로 할 수 있게 되었습니다.

주의할 점: Apple Silicon / macOS 15 이상에서만 작동합니다. Neural Engine, MLX, Core Audio에 통합되어 있어 Linux/NVIDIA 환경에서는 사용할 수 없습니다.

저는 MacBook M4 Max (RAM 48GB)로 사용하고 있는데, 어느 정도의 순간적인 성능 저하(spikes)는 있지만 전반적으로 잘 작동합니다. 만약 RAM이 16-24GB인 경우라면, 제가 설정한 기본 모델들이 그렇게 원활하게 작동하지 않을 수 있습니다. 하지만 앱 내 모델 설정에서 좋은 대안들을 찾아볼 수 있습니다.

모델 스택:

요약(Summaries), 채팅(chat), 자동 완성(cotyping)은 번들된 llama.cpp를 사용합니다. 낮은 지연 시간의 자동 완성을 위해 인-프로세스 libllama를, 그 외에는 llama-server를 사용합니다. 이 둘 중 어느 곳이든 사용자 자신의 GGUF 파일, Ollama 또는 OpenAI와 호환되는 엔드포인트, 혹은 Apple Intelligence를 연결할 수 있습니다.

전사(Transcription): Neural Engine에서 CoreML/MLX를 통해 Granite Speech 4.1 / Parakeet / Whisper / Qwen3-ASR을 사용합니다. Parakeet은 실시간의 약 190배 속도를 자랑합니다.

시맨틱 검색(Semantic search): 두 번째 llama-server(--embeddings)에서 Qwen3-Embedding 0.6B GGUF를 사용하여 벡터를 SQLite에 저장하고, 브루트 포스 코사인 유사도(brute-force cosine)를 계산합니다. 개인적인 규모에서는

회의 중에 Little Snitch를 해당 프로세스로 향하게 하면, 지금까지 본 것 중 가장 평탄한 네트워크 그래프를 즐길 수 있습니다. 선택 사항인 스크린샷은 AES-GCM 방식으로 암호화되어 보호되며 자동으로 삭제됩니다.

GitHub : https://github.com/stevyhacker/lokalbot
Landing : https://lokalbot.com

주로 저는 이 커뮤니티의 모델 선택에 대한 의견을 듣고 싶습니다. 특히 더 나은 로컬 ASR (Automatic Speech Recognition, 자동 음성 인식) 및 작고 빠른 cotyping 모델에 대해서 말이죠. 여러분이라면 무엇을 실행하시겠습니까?
/u/stevyhacker 님이 r/LocalLLaMA 에 제출함
[link] [comments]