솔직히 말해서, 저는 10개의 AI 코딩 모델을 실제 작업에 테스트해 보았고, 그 결과 무엇이 실제로 승리했는지 알려드리려 합니다.

자, 상황은 이렇습니다. 저는 최근 만든 세 개의 제품을 거의 전적으로 AI가 생성한 코드로 구축했습니다. 그리고 솔직히 말해서, 2024년에 사용하던 것과 지금 2026년에 사용할 수 있는 것 사이의 품질 차이는 정말 말도 안 될 정도입니다. 마치 낮과 밤의 차이와 같습니다.

하지만 저를 짜증 나게 하는 점이 있습니다. "최고의 코딩 AI"에 대해 읽는 모든 블로그 포스트는 실제로 무언가를 출시해 본 적이 없는 사람이 쓴 것처럼 느껴집니다. 그들은 장난감 같은 문제(toy problems)로 벤치마크를 수행하고, LeetCode 점수를 보여준 뒤 상황을 종료합니다. 반면 저는 새벽 1시에 DeepSeek-R1에 토큰당 2.50달러를 지불해야 할지, 아니면 그냥 가성비가 가장 좋은 것을 계속 사용할지 고민하고 있습니다.

그래서 저는 아마도 어리석은 짓을 하나 했습니다. 10개의 모델을 실제 코딩 작업에 테스트했습니다. "fizzbuzz 작성하기" 같은 것이 아니라, 실제 업무 말입니다. Python, JavaScript, TypeScript, Go를 사용했습니다. "이 리스트를 평탄화(flatten)하기"부터 "페이지네이션(pagination) 기능이 있는 REST 엔드포인트 구축하기"까지 말이죠. 제가 무엇을 발견했는지, 현재 무엇을 사용하고 있는지, 그리고 네, 이 모든 것을 신장을 팔지 않고도 어디서 구할 수 있는지 알려드리겠습니다.

자, 시작해 봅시다.

왜 굳이 이런 일을 했는가

보세요, 저는 1인 창업자(solo founder)입니다. AI 모델을 2주 동안 A/B 테스트할 시간이 없습니다. 저는 제품을 출시해야 합니다. 하지만 지난 분기에 다양한 모델을 시도하며 API 크레딧으로 약 400달러를 낭비한 후, 제가 바보 같은 짓을 하고 있었다는 것을 깨달았습니다. 그냥 추측만 해서는 안 됩니다.

그래서 저는 주말 이틀을 비워두고, 커다란 스프레드시트를 만든 다음, 모든 모델을 동일한 시련(gauntlet)에 통과시켰습니다. 동일한 프롬프트(prompts). 동일한 평가 루브릭(evaluation rubric). 느낌(vibes)에 기반한 판단이 아니라, 정확성(correctness), 코드 품질(code quality), 문서화(documentation), 그리고 제가 던지는 이상한 예외 케이스(edge cases)를 처리하는지 여부에 대한 실제 점수를 매겼습니다.

루브릭은 간단했습니다: 1점에서 10점까지. 7점 미만은 프로덕션(production)에 출시하지 않을 것이라는 의미입니다. 9점 이상은 실제로 추가 비용을 지불할 용의가 있다는 의미입니다.

라인업 (그리고 비용)

전투에 참여한 모델들은 다음과 같습니다. 가격은 제가 실제로 지불한 금액 그대로 유지하겠습니다. 솔직히 말해서, 가격이 이번 테스트의 핵심이기 때문입니다:

모델 (Model)	제공자 (Provider)	출력 $/M	분위기 (Vibe)
DeepSeek V4 Flash	DeepSeek	$0.25	민중의 챔피언
...

10개의 모델입니다. 가격은 출력 토큰 100만 개당 20센트에서 3달러 사이로, 15배의 차이가 납니다. 만약 여러분이 높은 가격을 지불하면서 낮은 가격의 모델과 동일한 품질을 얻고 있다면, 그것은 돈을 불태우고 있는 것과 다름없습니다.

테스트 방법

각 모델에 동일한 5가지 작업을 부여했습니다. 거창한 것은 아니며, 제가 실제로 구축해야 할 실질적인 작업들입니다:

1. 재귀적 평탄화 (recursive flatten) — "중첩된 리스트를 재귀적으로 평탄화하는 Python 함수를 작성하세요"
2. 버그 찾기 (Bug hunting) — 일부 async/await JavaScript의 레이스 컨디션 (race condition) 수정 (전형적인 사례)
3. 다익스트라 알고리즘 (Dijkstra's algorithm) — 적절한 타입 (types)을 포함한 TypeScript 버전
4. 코드 리뷰 (Code review) — 보안 및 성능 (perf) 문제를 찾기 위해 일부 Go 코드 분석
5. 실제적인 것 구축하기 — Express.js를 사용한 페이지네이션(paginated) 및 필터링 기능이 있는 REST API 엔드포인트

저는 다음 기준에 따라 각 모델을 채점했습니다: 실제로 작동하는가? 코드가 읽기 쉬운가? 스스로 문서화(document)를 하는가? 그리고 가장 중요한 것 — 운영 환경(production)에서 항상 발생하는 기이한 엣지 케이스 (edge cases)를 처리하는가?

꽤 단순한 평가 기준이지만, 채점하기는 꽤 고통스러웠습니다. 이 모델들 중 일부는 매우 긴 (LONG) 응답을 생성했습니다.

주요 결과 (스포일러 주의)

좋습니다, 작업별 상세 내용을 설명하며 지루하게 만들기 전에, 제가 두 달 전에 누군가로부터 받았더라면 좋았을 요약(TL;DR)을 먼저 공개합니다:

Qwen3-Coder-30B가 순수 품질 면에서 승리했습니다 ($0.35/M 기준 8.8/10점). DeepSeek V4 Flash는 가성비 면에서 승리했습니다 ($0.25/M 기준 8.7/10점 = 가치 점수 34.8점). DeepSeek-R1은 헤비급 챔피언입니다 (9.4/10점). 하지만 $2.50/M의 가격을 고려하면, 단 0.7점의 품질 향상을 위해 10배의 비용을 지불하는 셈입니다.

전체 분석:

순위	모델	점수	가격	가치
🥇	Qwen3-Coder-30B	8.8	$0.35	25.1
...
Ga-Standard는 작업에 가장 적합한 모델로 라우팅되기 때문에 와일드카드(wildcard) 역할을 하며, 따라서 점수가 변동됩니다. 별표(*)가 여기서 많은 역할을 하고 있지만, 솔직히 42.5라는 가치(value) 점수는 눈썹을 치켜뜨게 만들 정도로 놀랍습니다.

작업 #1: 리스트를 완전히 평탄화하기 (Flatten The Damn List)

프롬프트는 간단했습니다: "중첩된 리스트를 재귀적으로 평탄화(flatten)하는 Python 함수를 작성하세요."

모든 모델이 이를 정확히 수행했습니다. 말 그대로 모든 모델이요. 문제는 그들이 '어떻게' 맞췄느냐였습니다.

모델	점수	결과
DeepSeek V4 Flash	9.0	깔끔함, 타입 힌트 (type hints), 즉시 작동함
...
DeepSeek-R1이 이 항목에서 승리했습니다. 출력 결과에 문자 그대로 "시간 복잡도 (Time Complexity): O(n), 여기서 n은 전체 요소의 개수"라는 섹션이 있었고, 그 후 네 가지 서로 다른 작성 방식을 제시했습니다. 재귀적 (Recursive), 반복적 (Iterative), 스택 (stack) 사용, 제너레이터 (generator) 사용 방식입니다. 이것이 바로 어려운 문제에 대해 프리미엄 가격을 지불할 가치가 있는 사고방식입니다.

하지만 문제는 이겁니다 — 평탄화 (FLATTEN) 함수를 위해서요? 저는 네 가지 구현 방식이 필요한 게 아닙니다. 제대로 작동하는 하나가 필요할 뿐입니다. DeepSeek V4 Flash는 약 12줄 만에 완벽한 코드를 제공했습니다. 끝. 바로 배포하면 됩니다.

작업 #2: 고전적인 비동기 레이스 컨디션 (Async Race Condition)

모든 모델에 이 보석 같은 코드를 던져주었습니다:

let data = null;
fetch('/api/data').then(r => r.json()).then(d => data = d);
console.log(data); // 항상 null을 출력함 — 레이스 컨디션 (race condition)!

단 하나의 모델도 빠짐없이 모든 모델이 버그를 정확히 식별했습니다. 단 하나도 놓치지 않았습니다. 따라서 점수는 그들이 어떻게 수정했느냐에 따라 갈렸습니다.

모델	점수	수정 방식
DeepSeek V4 Flash	9.0	명확한 설명 + 3가지 수정 옵션
...
이 항목은 DeepSeek V4 Flash와 Qwen3-Coder-30B의 무승부였습니다. 두 모델 모두 작동하는 수정안을 제시했고, 둘 다 기존 코드가 왜 잘못되었는지 설명했으며, 둘 다 옵션(async/await vs .then 체이닝 vs 래퍼 함수 (wrapper functions))을 제공했습니다.

솔직히 말해서, 이 작업은 가격 차이가 정말로 중요한 부분입니다. 두 승자 모두 출력 1M(100만 토큰)당 비용이 $0.40 미만이었습니다. Kimi K2.5였다면... 똑같은 답변에 대해 1M당 $3.00를 청구했을 것입니다. 사양하겠습니다.

작업 #3: 다익스트라 알고리즘 (Dijkstra's Algorithm) (TypeScript 버전)

여기서부터 상황이 흥미진진해졌습니다. TypeScript + 알고리즘 + 적절한 타이핑 (typing)의 조합은 대부분의 모델이 무너지는 지점입니다.

DeepSeek-R1은 9.5/10점을 기록하며 이 작업을 완전히 압도했습니다. 완전한 타입 안전성 (type safety)과 제네릭 제약 조건 (generic constraints)을 갖춘 우선순위 큐 (priority queue) 구현을 제공했으며, 모든 것을 완벽하게 해냈습니다. 심지어 왜 특정 타입 선택이 이루어졌는지 그 이유까지 설명해 주었습니다.

R1이 실시간으로 알고리즘을 통해 "생각"하는 과정을 지켜보는 것은 일종의 매혹적인 경험이었다고 말해야겠군요. 코드를 작성하기 전에 추론 (reasoning) 과정을 문단 단위로 출력했습니다. 이와 같은 알고리즘 작업에서 그러한 사고 과정은 매우 가치가 높습니다.

하지만 다시 말하지만 — 1M당 $2.50입니다. 한 번 사용하고 유틸리티 (utils) 파일에 넣어둘 다익스트라 구현을 위해 이 가격을 지불해야 할까요? 정당화하기 어렵습니다. 하지만 프로덕션 (production) 환경에서 실행되는, 구현하기 까다롭고 중요한 알고리즘이라면? 갑자기 가격이 합리적으로 느껴집니다.

나를 놀라게 한 모델들

Ga-Standard

이 모델은 흥미롭습니다. 자체적인 모델을 가지고 있지 않습니다. 각 작업에 가장 적합한 모델을 선택하는 라우팅 레이어 (routing layer)입니다. 때로는 DeepSeek V4 Flash로 보내고, 때로는 Qwen3-Coder-30B로, 때로는 완전히 다른 모델로 보냅니다.

가치 점수(42.5)에 붙은 별표(*)는 점수가 실제로 가변적이기 때문입니다. 어떤 작업에서는 압도적인 성능을 보였고, 어떤 작업에서는 평균적인 수준이었습니다. 하지만 1M당 $0.20라면, "평균적인" 답변이라 할지라도 매우 훌륭한 거래입니다.

솔직히 말해서, 어떤 모델을 사용할지 고민하는 것을 그만두고 싶은 인디 해커 (indie hackers)들에게 이것은 일종의 꿈과 같습니다. 한 번 설정해 두면 다시는 돌아볼 필요가 없습니다.

GLM-5

솔직히 GLM-5에 대해서는 들어본 것이 별로 없었기에 기대치가 낮았습니다. 8.0/10점을 받았는데, 가격표($1.92/M)를 보기 전까지는 괜찮게 들립니다. 그 가격이라면 저는 9점 이상을 기대합니다. 따라서 저에게는 기대 이하의 성능을 보여주었습니다.

하지만 — 그리고 이게 핵심인데 — 이 모델은 그 어떤 모델보다도 흥미로운 에러 메시지를 보여주었습니다. 무언가 틀렸을 때, 자신이 불확실하다는 점을 솔직하게 인정했습니다. 이는 디버깅 어시스턴트 (debugging assistant)로서 묘하게 가치 있는 부분입니다.

Hunyuan-Turbo

가장 큰 실망이었습니다. Tencent는 보통 좋은 제품을 만들지만, Hunyuan-Turbo는 $0.57/M의 가격에 7.5/10점을 기록했습니다. 참고로, DeepSeek V4 Flash는 $0.25/M에 8.7점을 받았습니다. 더 나쁜 코드를 위해 더 많은 비용을 지불하는 셈입니다. 사양하겠습니다.

돈값을 하는 모델들

DeepSeek V4 Flash — 나의 데일리 드라이버 (Daily Driver)

제 코딩 작업의 90%에서 저는 현재 이 모델을 사용합니다. 빠르고, 저렴하며 ($0.25/M), 코드를 다시 작성할 일이 거의 없을 정도로 충분히 훌륭합니다. 그 가격대에서 8.7점이라는 점수는 진심으로 인상적입니다.

이제 막 시작하는 단계이고 그저 제대로 작동하는 무언가가 필요하다면, 이것이 정답입니다.

Qwen3-Coder-30B — 코드 특화 지능이 필요할 때

이 모델은 코드 전문가이며, 그 점이 명확히 드러납니다. 페이지네이션 (pagination)과 필터링 (filtering) 기능이 포함된 REST API 엔드포인트를 요청했을 때, 적절한 에러 처리 (error handling), 유효성 검사 (validation), 그리고 JSDoc 주석까지 포함된 바로 서비스에 적용 가능한 수준의 Express.js 구현체를 제공했습니다.

$0.35/M의 가격으로 여전히 매우 저렴합니다. 저는 새로운 기능을 구축할 때, 최소한의 수정만으로 바로 배포할 수 있는 코드가 필요할 때 이 모델을 사용합니다.

DeepSeek-R1 — 강력한 한 방