언젠가 이런 날이 올 줄 알았기에 로컬 AI 어시스턴트를 구축했습니다. 어제 일이 정말 실감 나게 다가왔네요.

저는 처음부터 이런 일이 일어날 것을 예상했기에, 자리에 앉아 구축을 시작했습니다. 하지만 어제 있었던 Anthropic의 중단 사태는 느낌이 달랐습니다. 정부의 지침 하나로 어떤 일이 벌어지는지 보셨을 겁니다. 아니면 단순히 Anthropic의 문제일 수도 있겠지만, 타인의 인프라에 의존하는 것에는 그런 리스크가 따릅니다.

그래서 제가 작업해 온 것을 소개합니다: Gemma 4b를 기반으로 구동되는 1920년대 집사 페르소나를 가진 완전 로컬 AI 개인 비서, Bantz입니다:

• Gmail을 카테고리별(개인, 기관, 알림)로 읽고 요약 (적어도 시도는 합니다)
• Google Calendar 연동
• 웹 검색 + 심층 조사 (비동기, 다중 소스) (이는 4b 파라미터 모델에게 매우 훌륭한 기능입니다)
• 알림 기능이 포함된 실시간 시스템 모니터링 (CPU/RAM/swap)
• 예약된 작업 및 자율 지시
• Wayland 네이티브 데스크톱 제어 (아직 진행 중이지만, 적어도 멀리서 제 PC를 제어할 수는 있습니다)
• CPU 전용 구동 — GPU가 필요하지 않음 (llama나 다른 모델들을 사용한다면 필요할 것입니다)

작은 로컬 모델을 최적화하는 것은 그야말로 악몽 같지만, 적어도 이것은 '나의' 악몽이며 아무도 이를 빼앗아 갈 수 없습니다 — 적어도 지금은 말이죠.

아, 맞습니다. 지금은 이 악몽을 혼자 관리해야 합니다. 만약 누군가 곁에서 구축을 도와주고 싶다면 정말 멋질 것 같습니다. 아이디어, PR(Pull Request), 피드백 모두 환영합니다. 우리의 작은 모델은 큰 야망을 품고 있습니다 :')

github.com/miclaldogan/bantzv2
https://preview.redd.it/0snp7rf4497h1.jpg?width=1600&format=pjpg&auto=webp&s=f9db195cdba415e79734b5475fe85ca959c8fe63
submitted by /u/amenemisa
[link] [comments]