연재: AI에게 일자리를 빼앗길 불안으로부터 시작하는 하네스 작성 입문

제11회 / 총 24회 (주 2회 · 12주간)

AI 하네스(Harness)를 만들기 시작하면 곧바로 맞닥뜨리게 되는 것이 바로 "어떤 LLM을 사용할 것인가"라는 선택입니다. OpenAI나 Claude의 API를 쓸 것인지, 아니면 Ollama로 로컬(Local)에서 구동할 것인지—— "전부 API로 하면 되지 않을까?", "로컬은 어려워 보인다"라며 망설이는 분들이 많을 것입니다.

사실, 어느 한쪽으로 통일할 필요는 없습니다. 중요한 것은 "이 태스크에는 이것"이라고 판단할 수 있는 기준을 갖는 것입니다. 이번에는 비용(Cost), 레이턴시(Latency), 프라이버시(Privacy), 정밀도(Accuracy)의 4개 축으로 판단 기준표를 제시합니다.

회차	타이틀	상태
1〜4	기초편 (불안의 언어화 ~ 하네스의 개념)	✅
...	11	로컬 LLM을 사용해야 하는 상황과 외부 LLM에 맡기는 상황
12	모델 라우터(Model Router)의 의사 코드(Pseudo code)로 LLM 전환을 설계하기	─
13〜24	운용 설계 · 테스트 · 발전편	─

AI 하네스의 성능과 비용은 선택하는 LLM에 크게 좌우됩니다. 고정밀 모델을 모든 태스크에 사용하면 안심할 수 있지만, API 비용이 늘어나거나 기밀 데이터를 외부에 전송하는 리스크가 발생할 수 있습니다. "일단 전부 GPT-4"가 아니라, 태스크에 따른 구분 사용이 실용적인 하네스로 나아가는 첫걸음입니다.

Ollama나 llama.cpp로 구동하는 로컬 LLM의 특징을 정리합니다.

장점

• 데이터가 외부에 나가지 않음 (프라이버시 확보)
• API 요금이 들지 않음 (전기료만 발생)
• 오프라인에서 동작 가능
• 레이턴시(Latency)가 낮음 (네트워크 왕복 없음)

단점

• 고성능 GPU 필요 (VRAM 8GB 이상 권장)
• 최신 모델보다 정밀도가 떨어지는 경우가 있음
• 모델의 업데이트 · 관리가 본인의 업무
• 컨텍스트 윈도우(Context Window)가 작은 경향

OpenAI, Anthropic, Google 등의 API 서비스 특징입니다.

장점

• 최고 수준의 정밀도 (GPT-4o, Claude 3.5 등)
• GPU 불필요, 즉시 시작 가능
• 모델 업데이트가 자동
• 큰 컨텍스트 윈도우(Context Window)

단점

• 종량제 과금 (대량 처리 시 고액 발생)
• 데이터를 외부에 전송해야 함
• 네트워크 장애 시 중단
• 레이트 리밋(Rate Limit) 있음

다음 표를 자신의 프로젝트에 대입하여 판단해 보십시오.

판단 축	로컬 LLM 적합	외부 LLM 적합
비용 (Cost)	대량 처리 · 정기 실행	소량 · 스팟(Spot) 이용
레이턴시 (Latency)	실시간 응답 필요	수 초의 지연 허용 범위
프라이버시 (Privacy)	기밀 데이터를 다룸	공개 정보만 다룸
정밀도 (Accuracy)	단순한 태스크 (분류 · 추출)	복잡한 추론 · 생성

사용 팁: 각 축에서 "어느 쪽에 더 가까운가"를 판정하여, 3개 이상의 축이 같은 쪽으로 기울면 그쪽을 선택한다는 심플한 규칙부터 시작하는 것을 추천합니다.

판단 기준표를 실제 태스크에 대입해 봅시다.

태스크	권장	이유
로그 요약	로컬	대량 · 정기 실행, 사내 데이터 포함
...
물론 이것은 절대적인 정답이 아닙니다. 프로젝트의 상황이나 예산, 팀의 정책에 따라 판단은 달라집니다.

실제 하네스에서는 로컬과 외부를 병용하는 하이브리드(Hybrid) 구성이 현실적입니다.

태스크 접수
└─ 태스크 종류 판정
  ├─ 단순 태스크 → 로컬 LLM (Ollama)
...

이 "폴백(Fallback)"이 포인트입니다. 로컬 LLM에서 실패했을 경우 외부 API로 자동 전환되는 메커니즘을 넣어두면 신뢰성이 대폭 향상됩니다.

외부 LLM의 비용을 견적 낼 때의 간이 계산식입니다.

# 비용 견적의 간이 계산
def estimate_monthly_cost(
    calls_per_day: int,
    ...

"월액 이 정도라면 전부 API로 해도 된다", "이 이상이라면 로컬로 옮긴다"라는 판단의 기준이 됩니다.

망설여진다면 다음 단계를 추천합니다.

• 먼저 외부 API로 동작하는 것을 만든다 (시작하기 쉬움 우선)
• 비용이나 프라이버시가 과제가 되면 로컬을 검토
• 태스크마다 전환하는 메커니즘 (모델 라우터)을 설계

"처음부터 완벽한 구성을"이라고 생각할 필요는 없습니다. 동작하는 것을 만든 다음 최적화하는 접근 방식이 학습 효과도 더 깊어집니다.

이전 템플릿을 사용하여 모델 선택에 대한 판단도 기록해 둡시다.

---
title: "메인 LLM 선정: Ollama + llama3.1 vs OpenAI API"
category: "model"
...

"왜 로컬로 전환했는가"를 나중에 검색할 수 있는 상태로 만들어 두는 것이 팀 개발에서도 개인 개발에서도 도움이 됩니다.

"로컬은 어렵다" $\rightarrow$ Ollama를 사용하면 명령어 한 번으로 실행할 수 있습니다. 설정 난이도는 이전보다 대폭 낮아졌습니다 -
"API는 보안이 걱정된다" $\rightarrow$ 각 프로바이더의 데이터 처리 부속서 (Data Processing Addendum)를 확인하세요. 용도에 따라서는 문제가 없는 경우도 있습니다 -
"비용이 적으니 API로 충분하다" $\rightarrow$ 스케일 업 (Scale) 되었을 때의 견적을 미리 산출해 두면 안심할 수 있습니다

이번 회차의 핵심 포인트를 정리합니다.

• 로컬 LLM과 외부 LLM은 "어느 쪽이 정답"인 문제가 아니라, 태스크 (Task)에 따라 나누어 사용한다 -
• 비용, 레이턴시 (Latency), 프라이버시 (Privacy), 정밀도 (Accuracy)의 4축 판단 기준표로 판단한다 -
• 하이브리드 구성 (로컬 + 외부 폴백 (Fallback))이 현실적이다
• 우선 외부 API로 동작하는 것을 만들고, 필요에 따라 로컬로 이행한다
• 판단 경위는 설계 메모에 기록해 둔다

제12회: 모델 라우터 (Model Router)의 의사 코드로 LLM 전환 설계하기

이번에 다룬 판단 기준표를 실제 코드로 구현해 봅시다. Python 의사 코드 (Pseudo-code)로 "모델 라우터"를 설계합니다. 태스크 종류에 따라 로컬 LLM과 API LLM을 자동으로 전환하는 메커니즘을 코드를 읽으며 함께 이해해 나갑니다.

"라우팅 조건을 어떻게 정의할 것인가", "폴백 (Fallback)을 어떻게 구현할 것인가" —— 구현의 핵심 포인트를 구체적으로 해설합니다.

연재: AI에게 일자리를 빼앗길 불안으로부터 시작하는 하네스 작성 입문

저자: @singula00991｜ 주 2회 업데이트

다음 회차는 "하네스용 디렉토리 구성과 README 만들기"를 예정하고 있습니다.