많은 분들이 "로컬 LLM이 실제로 유용한 일을 할 수 있나요?"라고 묻는 것을 보았습니다

그리고 제 경험을 공유하고자 합니다. 대답은 아주 강력하게 '예'입니다.

제 AI 하네스 (AI harness)에서 매일 사용하는 로컬 모델인 임베딩 모델 (embedding models)부터 시작하겠습니다. 저는 임베딩 모델을 사용하여 제 AI의 지속성 메모리 시스템 (persistent memory system)에 시맨틱 검색 프로토콜 (semantic search protocol)을 부여하고 있으며, 이를 통해 메모리 회상이 인간 사용자에게 매끄럽게 느껴지도록 하고 있습니다.

이제 저의 최근 사용 사례입니다:

최근 저는 Qwen3.6-35B-A3B를 활용한 새로운 애플리케이션들을 시도해 보고 있습니다. 저는 Qwen이 제가 정기적인 주간 간격으로 제공하는 기준에 따라 데이터베이스를 평가하는 워크플로우 (flow)를 실험하고 있습니다. 그런 다음 Qwen은 제 기준을 충족하는 데이터를 기반으로 저에게 이메일을 보냅니다. 저는 이메일을 통해 Qwen이 찾아낸 항목 중 진행할 항목을 선택하여 답장을 보냅니다. 그러면 Qwen은 제 선택을 받아 우리의 소스 목록 및 지식 베이스 (knowledge base)와 대조하여 문서를 생성하고, 이를 Google Doc으로 푸시한 다음 해당 문서를 저에게 이메일로 보냅니다. 저는 Google Doc을 편집하고 Qwen이 피드백으로 반영할 수 있도록 댓글을 남깁니다. 반복 작업 (iterating)이 완료되면, 저는 Qwen에게 이메일을 보내 문서를 우리의 PDF 템플릿으로 변환하라고 지시합니다. 그러면 Qwen은 작업물을 깔끔하게 서식이 지정된 PDF로 변환하여 저에게 다시 이메일로 보내주며, 저는 이를 최종 사용자에게 보낼 준비를 합니다.

저는 단순한 것부터 시작하여 더 복잡한 작업으로 넘어가고 있지만, 지금까지 Qwen3.6-35B-A3는 제가 던져주는 모든 작업을 완벽하게 수행하고 있습니다. 상황이 진전됨에 따라 다시 보고하겠지만, 진심으로 결론은 '예'입니다. 로컬 LLM으로 많은 유용한 일들을 할 수 있습니다.

여러분은 여러분의 로컬 LLM으로 무엇을 하고 계신가요?