솔직히 말씀드릴게요. 저는 전문 리뷰어가 아닙니다. 저는 그저 무언가를 만들고 출시하는 평범한 사람일 뿐이며, 최근 어떤 AI 모델이 저를 미치게 만들지 않으면서 실제로 코드를 가장 잘 작성하는지 궁금해졌습니다. 그래서 상식적인 사람이라면 누구나 할 법한 일을 했습니다. 10개의 모델을 실제 코딩 작업에 투입하고 어떤 일이 일어나는지 지켜보았습니다. 어떤 것들은 저를 놀라게 했고, 어떤 것들은 화면을 향해 소리를 지르게 만들었습니다.

만약 여러분이 저처럼 지구상의 모든 API를 A/B 테스트할 시간이 없다면, 여기 전체 분석 내용이 있습니다. 마음 단단히 먹으세요.

내가 굳이 이 일을 한 이유

사실 이렇습니다. 저는 1인 창업자(solo founder)입니다. 백엔드(backend)를 위해 Python을 작성하고, 프론트엔드(frontend)를 위해 TypeScript를 사용하며, 무언가 빠르게 처리해야 할 때는 가끔 Go를 사용합니다. 매달 저는 AI API에 비용을 지불하고 있는데, 솔직히 제가 과다 지불을 하고 있는지 아니면 손해를 보고 있는지 전혀 알 수 없었습니다.

현재 시장은 매우 혼란스럽습니다. 엄청난 비용이 드는 거대 모델들도 있고, Twitter에서는 좋아 보이지만 쓰레기 같은 결과물을 내놓는 저렴한 소형 모델들도 있으며, 마법 같다고 주장하는 코드 특화 모델들도 있습니다. 저는 그저 어떤 것들이 저의 한정된 인디 해커(indie hacker) 예산에 실제로 가치가 있는지를 알고 싶었을 뿐입니다.

그래서 10개의 모델을 가져와 제가 실제로 하는 업무를 반영하는 5가지 작업을 선정하고, 성능 테스트를 시작했습니다. 합성 벤치마크(synthetic benchmarks)도 아니고, 느낌에 의존한 리뷰도 아닙니다. 그저... 실제 사람이 할 법한 실제 작업들입니다.

내 문제들에 투입한 10가지 모델

라인업은 다음과 같습니다. 가격 정보는 제가 확인한 그대로 유지하겠습니다. 가격 사기가 제가 이 일을 하게 된 근본적인 이유이기 때문입니다.

저는 출시 마감일을 맞추기 위해 새벽 3시에 배치 작업(batch jobs)을 돌릴 때, 1M당 3.00달러를 지불하는 것을 정당화할 수 없었기 때문에 개인적으로 저렴한 모델들에 많이 의존했습니다. 하지만 모든 모델을 공정하게 테스트했습니다. 프리미엄 모델들도 기회를 얻었습니다.

실제 테스트 방법 (연구실이 아닌, 제 아파트에서 수행)

아니요, 대조군(control groups)이나 동료 검토(peer review)가 포함된 어떤 공식적인 학술적 연구를 수행한 것은 아닙니다. 저는 그냥 구글 스프레드시트(Google Sheet)를 하나 만들고, 제가 실제로 도움이 필요했던 5가지 작업(tasks)을 선정하여 모든 모델을 모든 작업에 대해 실행했습니다. 제가 잘못 본 것이 아닌지 확인하기 위해 각 작업당 두 번씩 실행했습니다.

5가지 작업:

1. 재귀적 평탄화 (Recursive flatten) - 어떤 깊이의 중첩된 리스트(nested list)라도 평탄화하는 Python 함수 작성
2. 비동기 버그 수정 (Async bug fix) - JavaScript 레이스 컨디션(race condition) 수정 (데이터가 도착하기 전에 console.log가 실행되는 전형적인 문제)
3. TypeScript로 구현하는 다익스트라 (Dijkstra in TypeScript) - 네, 적절한 타입(types)을 갖춘 그래프 알고리즘(graph algorithm)
4. Go 코드 리뷰 (Go code review) - 제가 작성한 Go 코드를 보고 어디서 실수했는지 알려주기
5. Express REST 엔드포인트 (Express REST endpoint) - 페이지네이션(paginated) 및 필터링(filtered) 기능이 있는 사용자 API 구축

점수는 1~10점 척도로 매겼습니다. 코드가 실제로 작동하는지, 얼마나 깔끔해 보이는지, 문서화(docs)가 되어 있는지, 그리고 이상한 엣지 케이스(edge cases)를 어떻게 처리하는지(만약 AI가 빈 배열(empty arrays)조차 처리하지 못한다면, 우리가 여기서 무엇을 하고 있는 건지 모르겠으니까요)를 기준으로 판단했습니다.

최종 순위 (그리고 저의 솔직한 견해)

작업별로 깊게 들어가기 전에, 먼저 상위 수준의 요약을 보여드리겠습니다:

자, 그렇다면. 순수 품질 점수만 본다면, DeepSeek-R1이 9.4점으로 승리합니다. 하지만 그 대가로 100만 토큰당 $2.50를 지불해야 합니다. 이것이 $0.25짜리 모델들보다 열 배 더 나은가요? 아니요. 비용은 10배 더 비싸면서 성능은... 한 10% 정도 더 나은 수준입니다. 대부분의 인디 개발자(indie devs)들에게는 최악의 거래입니다.

실질적인 가치(우리가 중요하게 생각하는 달러당 품질) 측면에서는, DeepSeek V4 Flash가 절대적인 챔피언입니다. 100만 토큰당 $0.25에 8.7점이라는 점수를 기록하며 34.8라는 가치 점수를 얻었습니다. 이 모델은 기본적으로 매번 정답을 맞혔으며, 제가 과도한 비용을 지불하고 있다는 느낌을 전혀 주지 않았습니다.

변수는 가변적인 점수를 기록한 $0.20/M의 Ga-Standard입니다. 이것은 라우팅 모델 (Routing model)입니다. 즉, 사용자의 작업에 가장 적합한 백엔드 (Backend)를 선택합니다. 때로는 훌륭한 모델로 연결해 주기도 했지만, 때로는 평범한 모델로 연결해 주기도 했습니다. 별표(*)가 붙은 이유가 여기에 있지만, 제대로 작동할 때의 가격은 진정으로 타의 추종을 불허합니다.

작업 1: 클래식 재귀적 평탄화 (The Classic Recursive Flatten)

이것은 워밍업이었습니다. "중첩된 리스트를 재귀적으로 평탄화하는 Python 함수를 작성하세요." 지구상의 거의 모든 모델이 이 작업을 수행할 수 있지만, 저는 우아함, 타입 힌트 (Type hints), 예외 처리 (Edge case handling)를 확인하고자 했습니다. 결과는 다음과 같습니다:

솔직히 말해서? DeepSeek-R1이 이 항목에서 승리했습니다. 단순히 문제를 해결했을 뿐만 아니라, Big-O 분석을 포함하여 '왜' 그런 방식으로 해결했는지 설명해 주었고, 2~3가지의 서로 다른 접근 방식을 보여주었기 때문입니다. $2.50/M 가격의 모델이 이 정도 성능을 보여준다면, 저는 불만이 없습니다.

하지만 여기서 중요한 점은, '이' 특정 작업에 대해서는 DeepSeek V4 Flash와 Qwen3-Coder-30B가 동점을 기록했으며, 비용은 R1의 아주 일부분(FRACTION)에 불과했다는 것입니다. 일상적인 유틸리티 작업에는 이 두 모델을 기본값으로 선택하겠습니다.

작업 2: 비동기 레이스 컨디션 (The Async Race Condition - 나의 숙적)

이것은 모든 주니어 개발자(과거의 저를 포함하여)가 멘붕에 빠지는 문제입니다:

let data = null;
fetch('/api/data').then(r => r.json()).then(d => data = d);
console.log(data); // 항상 null을 출력함 — 레이스 컨디션 (Race condition)!

이 작업은 DeepSeek V4 Flash와 Qwen3-Coder-30B의 무승부였습니다. 둘 다 완벽하게 해냈습니다. 두 모델 모두 async/await 재작성 버전, .then() 체인 버전, 그리고 콜백 (Callback) 버전을 모두 제공했습니다. 그들은 단순히 코드를 고친 것이 아니라, 왜 코드가 망가졌는지에 대해 저를 '교육'해 주었습니다.

여기서 Hunyuan-Turbo는 실제로 제 예상보다 낮은 점수를 받았습니다 (이 작업에서는 상위권 모델에 들지도 못했습니다). 코드는 수정했지만 설명이... 빈약했습니다. 마치 제가 레이스 컨디션이 무엇인지 이미 알고 있다고 가정하는 듯했습니다. 배우는 사람에게는 그리 좋은 방식이 아닙니다.

Task 3: TypeScript에서의 Dijkstra 알고리즘 (상황이 급박해진 지점)

자, 이제 저렴한 모델들이 땀을 흘리기 시작할 것이라고 예상했던 지점입니다. Dijkstra(다익스트라)는 진짜 알고리즘적인 작업이며, 저는 엄격한 TypeScript 타입을 원했습니다. any 사용은 허용되지 않습니다. 결과는 다음과 같았습니다:

최고의 성적을 거둔 모델은 9.5점을 기록한 DeepSeek-R1이었습니다. 이 모델은 우선순위 큐 (priority queue)를 사용했고, 완전한 타입 안정성 (type safety)을 갖추었으며, 심지어 각 함수가 무엇을 하는지 설명하는 JSDoc 주석까지 추가했습니다. 저는 말 그대로 수정 없이 이 코드를 제 코드베이스에 그대로 복사해서 붙여넣었습니다. 만약 제가 일주일에 한 번 정도 이런 결과물이 필요하다면, $2.50/M의 비용을 지불할 가치가 충분합니다. 저는 필요하지 않으니... 아, 제 지갑이 아프네요.

DeepSeek V4 Flash 역시 여기서 결정적인 역할을 하며, 적절한 타입을 사용하되 설명은 약간 적은 8.8점 정도의 점수를 받았습니다. 대부분의 프로덕션 (production) 작업이라면? 저는 이 모델을 선택하겠습니다. 비용 절감 효과가 REAL(실제)하니까요.

Qwen3-Coder-30B와 같은 코드 특화 모델들은 이 작업을 완전히 집어삼켰습니다. 마치 피보나치 힙 (Fibonacci heap)이 무엇을 위해 사용되는지 '알고' 있는 것 같았습니다. 이진 힙 (binary heap)을 사용할 때와 정렬된 배열 (sorted array)을 사용할 때를 구분할 줄 알았습니다. $0.35/M의 가격으로 이런 도메인 인지 능력 (domain awareness)을 보여주는 것은 솔직히 범죄 수준입니다.

Task 4: Go 코드 리뷰 (제가 가장 좋아하는 테스트)

저는 버퍼 오버플로 (buffer overflow) 기운이 느껴지는 의도적으로 수상한 Go 코드와 레이스 컨디션 (race condition), 그리고 고루틴 누수 (goroutine leak)가 포함된 코드를 모델들에게 건넸습니다. 어떤 모델이 실제로 이 세 가지 문제를 모두 잡아내는지 보고 싶었습니다.

이 분야의 승자는 9.0점을 받은 DeepSeek V4 Pro였습니다. 이 모델은 단순히 버그를 지적하는 데 그치지 않고, 관용적인 Go 방식 (idiomatic Go: 채널 (channels), 뮤텍스 (mutexes), 컨텍스트 취소 (context cancellation))으로 어떻게 수정해야 하는지 설명했습니다. 시니어 엔지니어의 실제 워크플로 (workflow) 측면에서 볼 때, 이는 타의 추종을 불허했습니다.

Kimi K2.5 또한 여기서 매우 좋은 성적(8.5점 이상)을 거두었습니다. 하지만 다시 말하지만, 중요한 인프라 작업을 하는 것이 아니라면 코드 리뷰를 위해 $3.00/M를 지불하는 것은 부담이 될 것입니다.

GLM-5는 여기서 저를 놀라게 했습니다. 이 작업에서 알고리즘 테스트보다 더 높은 점수를 받았습니다. 이는 이 모델이 '알고리즘적 사고 (algorithmic thinking)' 모델이라기보다는 '일반 개발 (general dev)' 모델에 더 가깝다는 것을 시사합니다. 알아두면 유용한 정보입니다.

Task 5: 전체 Express 기능 구현 (실제 프로덕션 작업)

"페이지네이션(paginated)과 필터링(filtered) 기능이 포함된 사용자 엔드포인트(user endpoint)를 구축하세요." 이것은 인디 해커(indie hackers)들이 매일 수행하는 아주 기본적인 작업입니다. 저는 어떤 모델이 제가 일일이 간섭하지 않아도... 전체 과정을 스스로 해낼 수 있는지 확인하고 싶었습니다.

DeepSeek V4 Flash가 이 작업에서 가장 마음에 들었습니다. 이 모델은 다음을 제공했습니다:

• 전체 Express 엔드포인트 (endpoint)
• 에러 핸들링 (Error handling)
• 입력 유효성 검사 (Input validation)
• 심지어 샘플 테스트 파일까지
• 그리고 준수한 SQL 인젝션 (SQL injection) 방지 기능

100만 토큰당 0.25달러라는 가격은 정말 말도 안 됩니다(INSANE). 일상적인 기능 구현 작업을 위한 데일리 드라이버(daily driver)로 100% 사용할 것입니다.

Qwen3-Coder-30B는 코드 구조 면에서 아주 미세하게 더 나았지만, 비용이 40% 더 비쌌습니다. 솔직히 이 작업에서는 저에게 무승부였습니다.

비싼 모델들(Kimi K2.5, DeepSeek-R1)은 이 작업을 너무 과하게 설계(overengineered)해서 제가 실제로 코드를 깎아내야 했습니다. OAuth 미들웨어(middleware), 속도 제한(rate limiting), 전체 로깅 시스템(logging systems)까지 추가했습니다. 멋지긴 하지만, 저는 넷플릭스를 만드는 게 아니라 사이드 프로젝트를 만들고 있는 중입니다.

나의 실전 추천 (인디 해커 전용)

실제 비용을 지불하고 여러 번의 밤샘 테스트를 거친 후, 제가 개인적으로 사용하고 있는 방식은 다음과 같습니다:

업무의 90%를 위해: DeepSeek V4 Flash. 프리미엄 모델 비용의 약 12% 수준으로 품질 기준을 완벽하게 충족합니다. 일상적인 코딩 작업에 이보다 더 비싼 모델을 쓰는 것에 대해 저는 매우 회의적입니다.

전용 코딩 작업을 위해: Qwen3-Coder-30B. 약간 더 비싸지만, 여러 언어에 걸친 코드 관용구(code idioms)를 실제로 알고 있습니다. 한 세션 내에서 Python, JS, Go를 전환하며 작업할 때 이 모델은 잘 따라와 줍니다.

어려운 알고리즘 및 시스템 설계(system design)를 위해: DeepSeek-R1. 네, 100만 토큰당 2.50달러입니다. 하지만 일주일에 한 번 정도 발생하는 "분산 락(distributed lock)을 처음부터 직접 작성해야 하는" 순간에는, 절약된 시간만큼의 가치를 충분히 합니다.

실험가들을 위해: Ga-Standard. 100만 토큰당 0.20달러라는 가격은 반박하기 어렵지만, 변동성을 감수해야 합니다. 때로는 천재적이지만, 때로는... 그렇지 않습니다. 프로토타이핑(prototyping) 중이고 일관성이 중요하지 않을 때 사용하세요.

Hunyuan-Turbo는 당분간 피하세요. Tencent 미안하지만, 저에게는 전혀 인상적이지 않았습니다. 아마 미래의 버전은 더 나아질 수도 있겠네요.

내가 실제로 이를 연결한 방법

솔직히 말씀드리면, 제 설정은 다음과 같습니다. 저는 Global API를 사용하는데, 통합 엔드포인트 (unified endpoint)를 제공하기 때문에 수많은 API 키와 SDK를 번거롭게 관리할 필요가 없기 때문입니다. 거의 플러그 앤 플레이 (plug-and-play) 수준입니다:

import requests

API_KEY = "your-global-api-key"
...

다음은 제가 CI (지속적 통합)에서 실행하는 코드 리뷰 (code review)를 위한 또 다른 예시입니다:

def review_code(code_snippet, language="python"):
    prompt = f"""Review this {language} code for security issues, 
    performance problems, and bugs. Be specific and concise.
...

{% endraw %}
{language}
{code_snippet}
{% raw %}

```"""

return chat_with_model("qwen3-coder-30b", prompt)

...

솔직히 말해서, 이 모든 모델에 걸쳐 단 하나의 엔드포인트를 갖게 된 것이 제 워크플로 (workflow)를 바꾸어 놓았습니다. 저는 동일한