솔직히 말씀드려야겠네요. 저는 아파트에서 1인 기업을 운영하는 프리랜서 개발자이며, 제가 하는 모든 API 호출 비용은 제 월세를 내는 바로 그 주머니에서 나갑니다. 클라이언트에게 전달할 결과물을 빠르게 만들기 위해 LLM (Large Language Models)을 사용하기 시작했을 때, 저는 '최고의' 모델과 '내 통장 잔고에 가장 적합한 최고의' 모델은 매우 다른 것이라는 사실을 빠르게 깨달았습니다.

지난달에는 실험만 하다가 단 한 번의 주말 동안 140달러를 써버렸습니다. 오타가 아닙니다. 단 한 번의 주말 동안 말이죠. 저는 스스로에게 이것이 "연구"라고 말했지만, 사실 어떤 모델을 왜 호출하고 있는지 추적하는 데 게을렀을 뿐이었습니다. 그 고통은 제대로 된 대결을 시켜볼 충분한 동기가 되었습니다. 10개의 모델, 5개의 실제 코딩 작업, 그리고 각 모델이 실제로 나에게 얼마의 비용을 발생시키는지 확인할 수 있도록 모든 요청에 스톱워치를 작동시켰습니다.

다음은 제가 두 달 전에 가졌더라면 좋았을 보고서입니다. 아래의 모든 수치는 합성 벤치마크 (synthetic benchmarks)가 아니라, 제가 직접 실행한 실제 프롬프트에서 나온 결과입니다. 만약 당신이 클라이언트에게 시간당 비용을 청구하거나, 결과물에 대해 비용을 청구하거나, 혹은 얇은 마진 안에 AI 보조를 끼워 넣으려 노력하고 있다면 — 이 글을 먼저 읽으십시오.

라인업

저는 세 가지 느슨한 기준을 바탕으로 10개의 모델을 선정했습니다: 현재 사용 가능해야 하고, 화요일 오후에 실제로 사용할 수 있을 만큼 충분히 저렴해야 하며, 제가 하는 작업(Python 자동화, Node/TypeScript API, 그리고 가끔 고집하는 클라이언트를 위한 Go 서비스)과 관련이 있어야 합니다.

다음은 출력 토큰 100만 개당 지불한 비용 순으로 정렬된 명단입니다:

#	모델 (Model)	벤더 (Vendor)	출력 $/M	특징
1	Ga-Standard	GA Routing	$0.20	스마트 라우터 (Smart router) — 요청마다 상위 모델 (upstream model)을 선택함
...

잠시 이 격차를 살펴보시기 바랍니다. 이 목록에서 가장 저렴한 모델은 가장 비싼 모델보다 15배나 저렴합니다. 클라이언트 작업을 위해 하루에 수천 개의 토큰을 사용하고 있다면, 이 비율은 단순히 이론적인 수치가 아닙니다. 이는 수익이 나는 한 달과 회계사와 어색한 대화를 나누어야 하는 상황 사이의 차이입니다.

테스트 진행 방식

저는 이 테스트를 조작하고 싶지 않았습니다. 그래서 제가 실제로 비용을 청구하는 업무를 반영하는 다섯 가지 작업을 선정했습니다.

1. 재귀적 평탄화 (Recursive flatten) — "중첩된 리스트를 재귀적으로 평탄화하는 Python 함수를 작성하세요." 이는 주니어 클라이언트들이 첫 티켓(ticket)에서 요청하는 전형적인 작업입니다.
2. 비동기 버그 찾기 (Async bug hunt) — JavaScript의 fetch/then 코드에서 레이스 컨디션 (race condition)을 수정합니다. 전형적인 운영 환경의 긴급 상황입니다.
3. 그래프 알고리즘 (Graph algorithm) — TypeScript로 다익스트라 (Dijkstra) 최단 경로 알고리즘을 구현합니다. 모델들이 성능 한계를 드러내기 시작하는 지점입니다.
4. 보안 리뷰 (Security review) — Go 서비스를 살펴보고 문제점을 지적합니다. 고차원적인 사고가 필요합니다.
5. 전체 기능 구축 (Full feature build) — 페이지네이션 (pagination)과 필터링 기능이 포함된 Express.js 엔드포인트입니다. 가장 기본이 되는 업무입니다.

저는 정확성, 코드 품질, 독스트링 (docstrings)/주석 포함 여부, 그리고 코드 리뷰 시 질문할 만한 예외 케이스 (edge cases)를 실제로 처리했는지 여부를 기준으로 각 출력에 1점에서 10점까지 점수를 매겼습니다.

모든 응답에 대해 정확한 토큰 비용을 기록했습니다. 마지막 이 부분이 사람들이 생각하는 것보다 훨씬 중요합니다.

핵심 수치

새벽 2시에 커피를 너무 많이 마신 상태로 만든 표를 그대로 붙여넣겠습니다:

순위 (Rank)	모델 (Model)	점수 (Score)	출력 $/M	가치 (점수 대비 $)
🥇	Qwen3-Coder-30B	8.8	$0.35	25.1
...

Ga-Standard의 점수는 라우터이기 때문에 변동이 있습니다. 이 모델은 프롬프트를 가장 잘 수행할 것이라고 판단되는 상위 모델 (upstream model)로 전달합니다. 해당 행의 별표()가 많은 의미를 담고 있으며, 이에 대해서는 나중에 다시 다루겠습니다.

"Value" 열은 부업을 하는 사람의 뇌가 번뜩이는 지점입니다. 이는 말 그대로 달러당 품질(quality-per-dollar)을 의미합니다. 점수를 백만 토큰당 가격으로 나눈 값입니다. 높을수록 좋습니다. DeepSeek V4 Flash는 34.8을 기록하며, 단일 모델 중 가장 높은 수치를 달성했습니다. $3.00/M 가격의 Kimi K2.5는 3.0에 머물렀습니다. 동일한 작업을 수행하면서 품질 포인트당 비용은 12배나 더 높습니다. 제 뇌가 인지하기도 전에 제 지갑이 먼저 이를 알아차렸습니다.

모델들이 실제로 수행한 작업

전체 순위는 몇 가지 중요한 뉘앙스를 숨기고 있기 때문에, 작업별 상세 내용을 설명해 드리겠습니다.

작업 1: 재귀적 평탄화 (Recursive Flatten, Python)

특별히 복잡한 작업은 아니었습니다. 모든 모델이 핵심적인 재귀 (recursion) 로직을 정확히 구현했습니다. 차별점은 완성도에 있었습니다. DeepSeek V4 Flash는 적절한 타입 힌트 (type hints)가 포함된 깔끔한 버전을 내놓았습니다. Qwen3-Coder-30B는 한 걸음 더 나아가 반복문 (iterative) 대안을 추가하고 예외 케이스 (edge cases, None 값, 혼합 타입 등)에 대한 논의를 덧붙였습니다. Kimi K2.5는 적절한 독스트링 (docstring)과 함께 가장 가독성 좋은 솔루션을 제공했습니다. DeepSeek-R1은 빅오 (Big-O) 분석과 세 가지 서로 다른 구현 전략을 포함했습니다.

이 특정 작업에 대해서는 DeepSeek-R1이 순수 품질 면에서 승리했지만, 빅오 표기법을 읽는 특권을 누리기 위해 DeepSeek V4 Flash보다 10배나 더 많은 비용을 지불해야 합니다. 20분 안에 배포해야 하는 함수를 위해서라면? 아니요. 교육적인 답변을 원하는 인터뷰 준비 클라이언트를 위해서라면? 당연히 예입니다. 저는 이를 "시니어 엔지니어링 리뷰"로 청구했고 클라이언트는 만족했습니다.

작업 2: 비동기 레이스 컨디션 (Async Race Condition, JavaScript)

// 모든 모델이 찾아내야 했던 버그:
let data = null;
fetch('/api/data').then(r => r.json()).then(d => data = d);
...

이것은 주니어 개발자들을 괴롭히고 밤 11시쯤 풀 리퀘스트 (PR)에서 나타나는 종류의 버그입니다. DeepSeek V4 Flash와 Qwen3-Coder-30B 모두 깔끔한 설명과 각각 세 가지의 수정 옵션을 제시하며 이를 정확히 짚어냈습니다. Qwen3-32B도 찾아내긴 했지만, 너무 장황한 영역으로 빠져들었습니다. 토큰 비용이 저렴하더라도 독자로서 읽는 데 시간이 소요되는 문제입니다.

이것은 제가 흥미로운 점을 발견한 첫 번째 작업이었습니다. 코드 특화 모델(Qwen3-Coder-30B, DeepSeek Coder)이 반드시 범용 모델(generalists)을 압도하는 것은 아니었습니다. 그들은 DeepSeek V4 Flash와 대등한 수준이었습니다. 특화(specialization)의 이점은 실제로 존재하지만, 마케팅에서 주장하는 것보다는 작습니다.

작업 3: TypeScript에서의 Dijkstra 알고리즘

여기서 추론 모델(reasoning models)의 진가가 드러납니다. DeepSeek-R1은 진정으로 아름다운 코드를 생성했습니다. 완전한 타입 안정성(type safety), 적절한 우선순위 큐(priority queue) 구현, 심지어 연결되지 않은 그래프(disconnected graphs)의 예외 케이스까지 처리했습니다. 또한 자신의 추론 과정을 단계별로 설명해주었는데, 이는 클라이언트 문서에 거의 그대로 붙여넣을 수 있을 정도였습니다.

하지만 이 작업의 비용은 뼈아팠습니다. 동일한 프롬프트, 동일한 길이의 응답임에도 불구하고 DeepSeek V4 Flash에 비해 비용이 10배나 높았습니다. 시니어 개발자가 머릿속으로 작성할 수 있는 알고리즘에 이 정도 비용이라니요? 과잉(Overkill)입니다. 하지만 제가 멘토링하고 있는, "설명이 포함된" 코드에 비용을 지불하는 주니어 클라이언트에게는 2.50달러의 가치가 충분했습니다.

작업 4: 보안 리뷰 (Go)

저는 모든 모델에 의도적으로 취약점이 있는 동일한 Go 서비스를 제공했습니다. SQL 문자열 연결(SQL string concatenation), 입력 검증(input validation) 부재, 고루틴 누수(goroutine leak) 등 말 그대로 온갖 취약점을 포함했습니다.

DeepSeek-R1은 9개의 문제를 찾아냈습니다. DeepSeek V4 Pro는 8개를 찾아냈습니다. 저렴한 모델들(DeepSeek V4 Flash, Qwen3-Coder-30B)은 각각 6개를 찾아냈습니다. 비용을 지불하는 클라이언트 입장에서, 놓친 문제 중 하나라도 운영 환경의 사고(production incident)로 이어질 수 있다면 6개와 9개를 찾는 것은 의미 있는 차이(delta)입니다.

이제 저는 프리미엄 모델을 보안 민감도가 높은 리뷰 작업용으로 따로 남겨둡니다. 저는 이것을 말 그대로 보험이라고 생각합니다. 5,000달러짜리 사후 분석(postmortem)을 피하기 위해 2.50달러를 미리 지불하는 것입니다.

작업 5: 전체 기능 구축 (Express 페이지네이션)

이 부분은 제가 실제 청구 가능한 시간(billable hours)을 가장 많이 소비하는 영역이기에 세심하게 주의를 기울였습니다. 전체 프롬프트는 다음과 같았습니다: "적절한 에러 핸들링(error handling)과 함께 사용자를 페이지네이션 및 필터링하는 REST API 엔드포인트를 구축하라."

여기서 승자는 저를 놀라게 했습니다. DeepSeek V4 Flash는 적절한 입력 유효성 검사(input validation)와 사려 깊은 미들웨어 구조를 갖춘, 깔끔하고 관용적인 Express 코드를 생성했습니다. Qwen3-Coder-30B의 버전도 품질 면에서 거의 동일했습니다. 비싼 모델(Kimi K2.5, DeepSeek-R1)들은 제가 요청하지 않은 캐싱 레이어와 인증 후크(auth hooks)를 추가하는 등 과잉 설계(over-engineered)를 했기 때문에 오히려 더 나쁜 코드를 생성했습니다.

배운 교훈: 제가 아키텍처 결정을 내리는 그린필드(greenfield) 기능 작업의 경우, 저렴한 모델들이 더 좋은 협력자입니다. 그들은 제가 요청한 것만을 정확히 제공하며, 제가 논쟁해야 할 만한 '개선 사항'을 거만하게 추가하지 않습니다.

제가 전환하게 된 수학적 근거

이 데이터를 얻은 후 제 워크플로우에 어떤 변화가 생겼는지 보여드리겠습니다.

테스트 전에는 저는