클라우드 코드 완성 (Cloud code completion)에는 보이지 않는 비용이 따릅니다. 컨텍스트의 모든 키 입력이 타인의 서버로 전송된다는 점입니다. 많은 개발자에게는 이것이 괜찮을 수 있습니다. 하지만 보안 정책 하에서 작업하거나, 프라이빗 코드베이스 (private codebase)를 다루거나, 혹은 단순히 독점 코드를 제3자 API를 통해 전송하는 것에 거부감을 느끼는 사람에게는 이는 결격 사유가 됩니다. Tabby는 이에 대한 오픈 소스 (open-source) 해답입니다. 모델, 데이터, 그리고 가동 시간 (uptime)을 모두 직접 소유하며 자신의 하드웨어에서 실행할 수 있는 코딩 어시스턴트입니다.

우리는 소비자용 GPU가 장착된 단일 워크스테이션에 이를 설정하고 실제 프로젝트에 적용하여, "셀프 호스팅 (self-hosted)"이라는 약속이 어디까지 유효하며 어디에서 비용이 발생하는지 확인했습니다.

Tabby로 실제로 제어할 수 있는 것들

Tabby는 GitHub Copilot의 셀프 호스팅 대안으로, Rust로 작성되었으며 단일 Docker 이미지로 제공됩니다. 컨테이너 하나를 실행하고 에디터를 해당 컨테이너에 연결하기만 하면, 트래픽이 네트워크를 벗어나지 않으면서도 인라인 완성 (inline completions)과 채팅 패널을 사용할 수 있습니다.

Tabby를 실행할 때 진정으로 당신의 소유가 되는 세 가지는 다음과 같습니다:

• 코드가 머물러 있습니다. 완성 컨텍스트 (Completion context)는 배포된 머신(또는 VPC)을 절대 떠나지 않습니다. 이것이 대부분의 팀이 Tabby를 살펴보는 핵심 이유입니다.
• 모델을 직접 선택합니다. Tabby는 StarCoder, CodeLlama, DeepSeek Coder, 그리고 Qwen2.5-Coder 제품군과 같은 코드 모델의 오픈 레지스트리 (open registry)에서 모델을 가져옵니다. 완성 모델과 채팅 모델을 독립적으로 교체할 수 있습니다.
• 실행 비용이 무료입니다. 핵심 기능은 Apache 2.0 라이선스 하에 오픈 소스입니다. 사용자당 비용이 발생하지 않으며, 비용은 하드웨어와 운영 시간뿐입니다.

Tabby는 공식 확장을 통해 VS Code, JetBrains IDE, Vim/Neovim에 연결되므로, 에디터 측면의 사용 경험은 기존에 익숙한 방식과 매우 유사합니다.

Tabby는 git 리포지토리 (git repositories)를 인덱싱할 수 있어, 코드 완성 및 채팅 답변이 단순히 베이스 모델의 학습 데이터뿐만 아니라 사용자의 코드베이스를 기반으로 생성되도록 할 수 있습니다. 이러한 리포지토리 인식 컨텍스트 (repo-aware context) 덕분에 규모가 작은 셀프 호스팅 모델도 일반적인 수준을 넘어 실용적으로 느껴지게 됩니다.

실행 방법

가장 이상적인 경로는 정말로 명령어 하나로 끝납니다. NVIDIA GPU와 Docker가 설치되어 있다면 다음과 같습니다:

docker run -it --gpus all -p 8080:8080 \
  -v $HOME/.tabby:/data \
  registry.tabbyml.com/tabbyml/tabby \
...

이렇게 하면 웹 UI (Web UI), 코드 완성 모델 (Completion model), 그리고 채팅 모델 (Chat model)과 함께 localhost:8080에서 서버가 실행됩니다. 처음 실행할 때 계정을 생성하고 토큰을 생성한 뒤, 이를 에디터 확장 프로그램 (Editor extension)에 넣기만 하면 코드 완성이 시작됩니다.

현실적인 버전에는 몇 가지 고려해야 할 사항이 있습니다:

• GPU가 중요합니다. 1.5B 코드 완성 모델은 6~8GB의 VRAM을 가진 그래픽 카드에서 여유롭게 돌아가며, 실시간이라고 느껴질 만큼 빠르게 제안을 반환합니다. 더 큰 채팅 모델은 더 많은 여유 공간을 필요로 합니다. --device cpu 옵션으로 CPU에서 실행할 수도 있지만, 지연 시간 (Latency)이 증가하여 인라인 완성 (Inline completion)이 더 이상 완성처럼 느껴지지 않는 수준까지 올라갑니다.
• 모델 선택은 기본값이 아닌 트레이드오프 (Tradeoff)입니다. 모델이 커질수록 더 나은 제안을 제공하지만, 더 많은 메모리와 지연 시간을 소모합니다. Qwen2.5-Coder 라인은 합리적인 시작점입니다. 하드웨어가 허용하는 경우에만 크기를 키우십시오.
• 인덱싱 (Indexing) 과정이 필요합니다. Tabby를 사용자의 리포지토리 (Repositories)로 지정하면 일회성 인덱싱이 실행되며, 그 이후에는 컨텍스트 검색 (Context retrieval)이 빨라집니다.

CPU 전용 시도로 Tabby를 판단하지 마세요. GPU가 없는 노트북은 느리고 끊기는 완성을 생성하여 도구가 실제보다 더 나쁘게 느껴지게 만듭니다. GPU를 할당할 수 없다면, 결정하기 전에 클라우드 GPU 인스턴스 (Cloud GPU instance)에서 테스트해 보세요.

다음은 호스팅 서비스 옵션과의 솔직한 비교입니다:

운영 (Ops) 과정을 완전히 건너뛰고 싶고 엄격한 프라이버시 제약이 없다면, 호스팅된 AI 에디터가 마찰이 적은 경로입니다.

누가 셀프 호스팅을 해야 하는가 — 그리고 누가 하지 말아야 하는가

Tabby는 특정 상황에서 그 가치를 증명합니다:

• 규제 대상이거나 에어갭 (air-gapped) 환경처럼 코드가 법적 또는 계약상 외부로 유출될 수 없는 경우.
• 대규모 팀으로서 사용자당 AI 구독 비용이 부담되면서 이미 GPU 용량을 갖추고 있는 경우.
• 데이터 유출의 대가 없이 코드 완성을 원하며 컨테이너 (container) 실행을 개의치 않는 개인정보 보호 우선의 1인 개발자.

운영 오버헤드 (operational overhead) 없이 가능한 가장 강력한 완성 품질을 원한다면 잘못된 선택입니다. Tabby가 실행하는 오픈 모델 (open models)들은 유능하지만