많은 반복적인 LLM 작업(분류 (classification), 라우팅 (routing), 추출 (extraction), 도구 결과에서 필드 추출)이 불필요하게 프론티어 모델 (frontier models)로 전송됩니다. tunelab은 이러한 호출을 사용자가 자신의 데이터로 로컬에서 미세 조정 (fine-tune)한 소규모 모델로 옮기며, 배포하기 전에 홀드아웃 데이터 (held-out data)를 통해 해당 모델이 API보다 성능이 우수한지 확인합니다.

Repo: https://github.com/rchaz/tunelab

많은 시스템이 미세 조정을 수행합니다. 더 어려운 질문은 미세 조정이 실제로 필요한지, 그리고 소규모 모델이 실제로 승리하는지 여부입니다. tunelab은 이 두 가지 질문에 답을 내놓은 뒤, 가치가 있을 때만 학습을 진행합니다.

Banking77 (77개 클래스 의도 분류 (intent classification)) 결과:

• 무료 로컬 분류기: 동일한 작업에서 Claude Opus 4.8의 81.8% 대비 88.5% 기록.
• 3단계 캐스케이드 (3-tier cascade): 94% 정확도, 트래픽의 약 88%를 로컬에서 처리, 프론티어 모델만 사용할 때보다 비용 8배 절감.

메커니즘 (Mechanism). 가장 저렴한 단계부터 가장 비싼 단계까지 사다리를 오르듯 진행하며, 설정한 정확도 기준을 통과하는 첫 번째 단계에서 멈춥니다:

레벨 | 방법 | 데이터 / 비용

-1 | 더 나은 프롬프트 (prompt) / 더 저렴한 모델 계층 | $0
0 | 센트로이드 (Centroids, 임베딩 유사도) | 클래스당 약 20개 예시
1 | 소규모 분류기 (Small classifier) | 수백 개의 레이블, 수 초
2 | LoRA 미세 조정 (MLX, 로컬) | 500~10k개 예시, Mac에서 몇 분에서 몇 시간 소요
3 | 지속적 사전 학습 (Continued pretraining) | 수백만 개의 토큰 (드묾)

평가는 사전 등록됩니다. 점수를 확인하기 전에 정확도 기준을 설정하고, 검증은 홀드아웃 데이터 (held-out data)에서 실행되며, 챔피언/챌린저 (champion/challenger) 방식은 새로운 모델이 기존 모델을 정해진 차이만큼 앞설 때만 승격시킵니다. 이는 대부분의 설정이 생략하는 부분이며, 소규모 모델이 실제로 승리할 때만 신뢰받을 수 있는 이유입니다.

파이프라인 (Pipeline):

1. 로그나 데이터를 지정합니다. 레이블이 누락된 경우 더 큰 모델로부터 지식을 증류 (distilling)하여 학습 세트를 구축하고 레이블을 지정합니다.
2. 실행 가능한 가장 저렴한 접근 방식을 먼저 실행하며, 기준을 충족하지 못할 때만 단계를 높입니다.
3. 학습 단계에 도달하면 MLX/LoRA를 통해 로컬에서 실행됩니다: Apple Silicon에서 약 300 스텝, 몇 분에서 몇 시간 소요, GPU 대여 불필요, 로컬 부분에 대한 API 키 불필요.
4. 배포 전 홀드아웃 데이터에서 검증하고 수치를 보고합니다.

한계점:

로컬 학습은 MLX를 사용하므로, 미세 조정 (Fine-tuning)은 Apple Silicon (M1 이상)에서만 가능합니다.

Claude Code 플러그인 (/plugin install tunelab@tunelab)으로 작동하거나, AGENTS.md를 통해 스킬을 읽는 모든 에이전트 (Gemini CLI, Codex 등)와 함께 사용할 수 있습니다. 빠른 시작 (Quick start)은 모든 머신에서 실행 가능합니다: uv run quickstart.py cost.
제출자: /u/rchaz8
[link] [comments]