본 기사는 Semicolon Consulting의 블로그에 게시된 기사의 재가공입니다.
서론
평소 업무에서는 Frontier 모델인 Opus 5.5를 Claude Code로 사용하고 있습니다. 그런데 최근 업무 특성상 로컬 환경에서 폐쇄적으로 AI를 사용해야 할 필요가 생겨, 손안의 Mac mini만으로 작동하는 '완벽한 로컬 AI'도 시도해 보았는데, 이것이 상상 이상으로 좋아서 공유합니다.
이번 환경은 다음과 같습니다:
- 머신: Mac mini (M2, 유니파이드 메모리 32GB, GPU 19코어) -
- 모델: Qwen 3.8 27B (Ollama로 도입) -
- 에이전트: Pi Coding Agent (Claude Code처럼 터미널 상의 TUI에서 사용할 수 있는 오픈소스 에이전트)
이전 기사에서 '데이터의 민주화'를 지탱하는 것은 '기술의 민주화'라고 썼습니다. 오픈 웨이트 모델과 오픈소스 에이전트를 손안에서 조합할 수 있게 된 지금 상황은, 그야말로 AI의 민주화라고 느낍니다. 클라우드에 데이터를 보내지 않고, 이용료도 신경 쓰지 않으면서 사용할 수 있는 AI 파트너를, 가지고 있는 머신으로 만들어 나간 작업 흐름을 공유합니다.
1. Ollama 설치하기
Ollama는 AI 모델의 다운로드, 관리, 실행이 가능한 오픈소스 도구입니다. 'AI 모델의 스토어 겸 실행 환경'이라고 생각하면 이해하기 쉽습니다. 아래가 공식 웹사이트의 다운로드 페이지입니다.
Ollamaのダウンロードページ
공식 웹사이트에 있는 것처럼 터미널에서 명령어로 설치할 수도 있지만, GUI로 간단하게 끝내고 싶은 분들에게는 CaskHub를 추천합니다.
CaskHubでOllamaを検索したところ
CaskHub는 Mac의 패키지 관리 도구인 Homebrew를 GUI로 사용할 수 있게 만든 앱으로, 일종의 'macOS의 두 번째 App Store'입니다. 약간 곁가지 이야기지만, Ollama 외에도 좋은 앱이 많이 발견되므로 넣어두어도 손해 볼 것이 없습니다! 꼭 사용해 보세요.
2. 모델 설치하기
Ollama에는 클라우드 모델도 있지만, 클라우드로 괜찮다면 이번 환경을 굳이 만들 의미가 없습니다. 여기서는 손안에서 작동하는 로컬 모델을 사용합니다.
Ollama를 설치했다면, 터미널에서 다음 명령어를 실행하여 화제의 Qwen 3.8 27B를 다운로드합니다. 오픈 웨이트임에도 불구하고 Opus에 가까운 성능이 나온다고 좋은 의미로 소문난 모델이며, 실제로 사용해 봐도 상당히 괜찮은 느낌입니다.
ターミナルでollama pullを実行
다운로드가 끝나면 다음 명령어로 터미널 상에서 직접 대화하며 동작 확인을 할 수 있습니다.
여기까지가 조금 번거로운 부분이며, 여기서부터는 Claude Code와 같은 사용이 가능해집니다.
3. 에디터에 Pi Coding Agent 넣기
에디터라고 하면 확장 기능이 풍부한 VS Code가 정석입니다. 저는 트래픽(사용 상황 전송)을 제거한 오픈소스 버전인 VSCodium을 사용하고 있습니다. VS Code의 확장 기능도 그대로 사용할 수 있습니다. 이는 Ollama와 마찬가지로 macOS, Windows, Linux 등 환경에 구애받지 않는 점이 좋습니다.
VSCodium을 실행한 후 다음 절차로 확장 기능을 설치합니다.
- 왼쪽 메뉴에서 확장 기능을 엽니다.
- 검색창에서 'pi coding agent'를 검색합니다.
- 아래 이미지의 확장 기능을 설치합니다.
VSCodiumの拡張機能からPi Coding Agentを検索
Pi Coding Agent는 오픈소스 터미널형 AI 코딩 에이전트(CLI Harness)입니다. 핵심 기능을 극한까지 줄여 놓았기 때문에, 심플하고 다루기 쉽다는 특징이 있습니다. Claude처럼 SKILL.md 등에서 기능을 확장할 수도 있어, 비슷한 감각으로 개발 파트너로 사용할 수 있습니다.
설치했다면 Pi를 실행하고 /model을 입력합니다.
Ollama에 들어간 모델이 목록으로 나오므로, qwen3.8:27b [ollama]를 선택하고 Enter로 결정합니다. Ctrl+S를 누르면 다음부터도 이 모델이 기본값이 됩니다.
Piの/modelでOllamaのモデルを選択
VSCodiumでPiを起動したところ
요약
이번에는 Mac에서의 절차를 소개했습니다. Mac보다 학습 곡선이 가파른 Linux야말로, 이 같은 '오픈 웨이트 모델 + 오픈 소스 에이전트' 조합을 환경별로 하나씩 갖춰보고 싶게 만듭니다.
프런티어 모델과 로컬 모델을 적절히 사용하면 AI와의 관계 맺는 폭이 크게 넓어집니다. 꼭 한번 시도해 보세요.
Discussion
