오픈 소스 Cotypist/Granola 하이브리드 구축: 자체 회의록을 컨텍스트로 활용한 Gemma 4 E2B 자동 완성 (M4 Max에서

저는 로컬 회의록을 보관하고, 이를 사용하여 타이핑 자동 완성을 하거나 화면을 읽거나 이전 회의록을 사용해 추가적인 컨텍스트로 받아쓰기를 보완할 수 있는 데스크톱 앱 하네스를 만들었습니다. 제대로 작동하게 만드는 것도 어려웠고, 너무 방해가 되거나 느려지지 않게 하는 것도 어려웠습니다. 지난 며칠 동안 마침내 사용할 수 있게 되어 여기에 공유합니다. 다양한 모델과 양자화(quants)로 많은 실험을 했으며, Gemma 4 E2B 베이스를 6비트로 사용하는 것이 일반 MacBook에서 품질 좋은 제안과 낮은 지연 시간의 균형이 가장 좋습니다.

Feature Cotypist Cotabby LokalBot License / price Proprietary, free for 100 words a day, $$ for unlimited AGPL-3.0, free (beta) GPLv3, free, no limits Model Local (Gemma 4 E4B recommended) Local GGUF via llama.cpp, or Apple Intelligence Gemma 4 E2B base Q6_K, in-process llama.cpp Knows what was said in your meetings No No Yes, opt-in: up to two facts from your own notes, when your draft names something distinctive Text above the field Not documented on its site OCR of the window Accessibility text above the field, on by default, never from private windows Also in the app Autocomplete Emoji, macros, autocorrect Meetings, dictation, screen recall, sharing one model RAM budget

Head-to-head with Cotabby, 782 next-word checkpoints: Identical inputs, same Gemma 4 E2B weights Exact next word LokalBot 32.7% (256 / 782) Cotabby 30.7% (240 / 782) Difference +2.0 points (95% interval 0.0 to +4.0)

성능 면에서는 CoTabby와 비교할 만하며, 여전히 사용자 경험(UX)을 다듬는 작업을 하고 있습니다. GitHub: https://github.com/stevyhacker/lokalbot

만약 사용해 보신다면 어떻게 작성되는지 듣고 싶습니다. 어떤 언어인지, 그리고 제안이 얼마나 유용한지 알려주세요. 또한 Gemma 4 E2B보다 약 50ms에서 더 나은 작은 베이스 모델을 알고 계시면 벤치마크를 해보고 싶습니다.

submitted by /u/stevyhacker [link] [comments]