오픈 소스로 공개된 tunelab: 반복적인 LLM 호출(분류, 라우팅, 추출)을 소규모 로컬 모델로 전환하는 Claude Code 플러그인

많은 반복적인 LLM 작업(분류 (classification), 라우팅 (routing), 추출 (extraction), 도구 결과에서 필드 추출)이 불필요하게 프론티어 모델 (frontier models)로 전송됩니다. tunelab은 이러한 호출을 사용자가 자신의 데이터로 로컬에서 미세 조정 (fine-tune)한 소규모 모델로 옮기며, 배포하기 전에 홀드아웃 데이터 (held-out data)를 통해 해당 모델이 API보다 성능이 우수한지 확인합니다.

Repo: https://github.com/rchaz/tunelab

많은 시스템이 미세 조정을 수행합니다. 더 어려운 질문은 미세 조정이 실제로 필요한지, 그리고 소규모 모델이 실제로 승리하는지 여부입니다. tunelab은 이 두 가지 질문에 답을 내놓은 뒤, 가치가 있을 때만 학습을 진행합니다.

Banking77 (77개 클래스 의도 분류 (intent classification)) 결과:

• 무료 로컬 분류기: 동일한 작업에서 Claude Opus 4.8의 81.8% 대비 88.5% 기록.
• 3단계 캐스케이드 (3-tier cascade): 94% 정확도, 트래픽의 약 88%를 로컬에서 처리, 프론티어 모델만 사용할 때보다 비용 8배 절감.

메커니즘 (Mechanism). 가장 저렴한 단계부터 가장 비싼 단계까지 사다리를 오르듯 진행하며, 설정한 정확도 기준을 통과하는 첫 번째 단계에서 멈춥니다:

레벨 | 방법 | 데이터 / 비용

-1 | 더 나은 프롬프트 (prompt) / 더 저렴한 모델 계층 | $0
0 | 센트로이드 (Centroids, 임베딩 유사도) | 클래스당 약 20개 예시
1 | 소규모 분류기 (Small classifier) | 수백 개의 레이블, 수 초
2 | LoRA 미세 조정 (MLX, 로컬) | 500~10k개 예시, Mac에서 몇 분에서 몇 시간 소요
3 | 지속적 사전 학습 (Continued pretraining) | 수백만 개의 토큰 (드묾)

평가는 사전 등록됩니다. 점수를 확인하기 전에 정확도 기준을 설정하고, 검증은 홀드아웃 데이터 (held-out data)에서 실행되며, 챔피언/챌린저 (champion/challenger) 방식은 새로운 모델이 기존 모델을 정해진 차이만큼 앞설 때만 승격시킵니다. 이는 대부분의 설정이 생략하는 부분이며, 소규모 모델이 실제로 승리할 때만 신뢰받을 수 있는 이유입니다.

파이프라인 (Pipeline):

1. 로그나 데이터를 지정합니다. 레이블이 누락된 경우 더 큰 모델로부터 지식을 증류 (distilling)하여 학습 세트를 구축하고 레이블을 지정합니다.
2. 실행 가능한 가장 저렴한 접근 방식을 먼저 실행하며, 기준을 충족하지 못할 때만 단계를 높입니다.
3. 학습 단계에 도달하면 MLX/LoRA를 통해 로컬에서 실행됩니다: Apple Silicon에서 약 300 스텝, 몇 분에서 몇 시간 소요, GPU 대여 불필요, 로컬 부분에 대한 API 키 불필요.
4. 배포 전 홀드아웃 데이터에서 검증하고 수치를 보고합니다.

한계점:

로컬 학습은 MLX를 사용하므로, 미세 조정 (Fine-tuning)은 Apple Silicon (M1 이상)에서만 가능합니다.

Claude Code 플러그인 (/plugin install tunelab@tunelab)으로 작동하거나, AGENTS.md를 통해 스킬을 읽는 모든 에이전트 (Gemini CLI, Codex 등)와 함께 사용할 수 있습니다. 빠른 시작 (Quick start)은 모든 머신에서 실행 가능합니다: uv run quickstart.py cost.
제출자: /u/rchaz8
[link] [comments]