이것 좀 보세요: 여러분이 직접 테스트할 필요 없도록, 제가 2주 동안 모든 AI 코딩 모델을 테스트해 보았습니다

저는 약 6개월 전에 코딩 부트캠프 (coding bootcamp)를 졸업했습니다. 그리고 고백할 것이 하나 있습니다. 프로그램 기간 동안 제가 생각했던 것보다 훨씬 더 AI 코딩 도구에 의존했다는 사실입니다. 정말 훨씬 더 많이요. 하지만 제 뒤통수를 친 사실이 있습니다. 실제 세상에 나와 실제 고객들을 위한 실제 프로젝트를 만들기 시작했을 때, 어떤 AI 모델이 코드를 작성하는 데 실제로 가장 좋은지 전혀 모르고 있다는 것을 깨달았습니다. 온라인상의 모든 사람들은 의견을 가지고 있었지만, 누구도 실제로 그것들을 나란히 놓고 테스트해 본 것 같지는 않았습니다.

그래서 저는 집착적인 신입 개발자라면 누구나 할 법한 일을 했습니다. 2주 동안 꼬박 시간을 내어 10개의 서로 다른 AI 모델에 동일한 코딩 과제들을 실행시키고 모든 것을 기록했습니다. 다음에 이어지는 내용은 이 분야에 대해 아마도 너무나 흥분해 있는 부트캠프 졸업생으로서의 저의 완전히 여과 없는 견해입니다.

아무도 경고해주지 않은 충격적인 사실

시작하기 전, 저는 당연히 가장 비싼 모델이 가장 좋을 것이라고 가정했습니다. 보통 그렇게 돌아가잖아요, 그렇죠? 더 많이 지불하면, 더 많은 것을 얻는 법이니까요. 그러다 첫 번째 테스트를 실행했을 때, 제가 얼마나 틀렸는지 전혀 알지 못했습니다.

저는 제가 실제로 부트캠프 동안 어려움을 겪었던 종류의, 저에게 실감 나는 5가지 코딩 작업을 선정했습니다. 재귀적인 Python 함수. 까다로운 JavaScript 레이스 컨디션 (race condition). TypeScript로 구현하는 Dijkstra 알고리즘 (솔직히 처음 이해하는 데 3일이 걸렸습니다). 제가 작성한 일부 Go 코드에 대한 보안 검토. 그리고 마지막으로 페이지네이션 (pagination) 기능이 포함된 전체 Express.js REST 엔드포인트입니다.

각 모델은 코드가 실제로 작동하는지, 얼마나 깔끔해 보이는지, 문서화가 얼마나 잘 되었는지, 그리고 코드 리뷰 중에 저를 울게 만들었던 이상한 엣지 케이스 (edge cases)들을 얼마나 잘 처리하는지에 따라 1~10점 척도로 점수가 매겨졌습니다.

목록 중 가장 저렴한 모델에 충격을 받았습니다

첫 번째 큰 놀라움은 출력 토큰 100만 개당 단 0.20달러인 Ga-Standard였습니다. 이것은 실제로 코드를 직접 생성하는 것이 아니라, 사용자의 특정 작업에 가장 적합한 모델을 선택하여 요청을 그곳으로 전달하는 라우팅 모델 (routing model)입니다. 처음 이 모델에 대해 읽었을 때, 마치 일종의 치트 코드 (cheat code)처럼 들린다고 생각했습니다. 이렇게 저렴한 모델이 모든 테스트에서 평균 8.5점을 기록했다는 사실에 충격을 받았습니다.

하지만 제가 발견한 함정이 있습니다. 동적으로 라우팅 (routing)되기 때문에, 작업에 따라 점수가 들쑥날쑥하다는 점입니다. 어떤 날은 문제를 완벽하게 해결했습니다. 하지만 다음 날에는 제 요청을 평범한 답변을 내놓는 모델로 보냈습니다. 그럼에도 불구하고 가치 점수 (value score, 기본적으로 점수를 가격으로 나눈 값)를 계산했을 때, 42.5점에 도달했습니다. 이는 제 전체 차트에서 가장 높은 수치입니다. 가격이 예상과는 이렇게까지 동떨어질 수 있다는 사실을 전혀 몰랐습니다.

전용 코드 모델들이 저를 사로잡았습니다

이번 실험을 시작할 때, 저는 범용 모델 (general-purpose models)이 대세일 것이라고 생각했습니다. 범용 모델은 더 유연하고, 이상한 질문들을 처리할 수 있으며, 코드 이상의 것에 대해서도 알고 있기 때문입니다. 하지만 코드 전용 모델 (dedicated code-specialized models)들은 진심으로 저를 놀라게 했습니다.

토큰 100만 개당 0.35달러인 Qwen3-Coder-30B는 8.8점의 점수로 전체 1위를 차지했습니다. 저와 같은 부트캠프 졸업생에게 이것은 엄청난 일이었습니다. 단순히 올바른 코드를 작성하는 것에 그치지 않고, 마치 시니어 개발자 (senior dev)가 작성한 것 같은 코드를 작성했습니다. 도처에 배치된 타입 힌트 (Type hints), 적절한 에러 핸들링 (error handling), 그리고 단순히 코드가 무엇을 하는지 설명하는 대신 실제로 내용을 설명해 주는 주석 (comments)까지 갖추고 있었습니다.

그 바로 뒤를 이어 토큰 100만 개당 0.25달러인 DeepSeek V4 Flash가 8.7점으로 뒤를 이었습니다. 이 모델은 34.8의 가치 점수를 기록했는데, 이는 라우팅 옵션을 사용하지 않고 얻을 수 있는 최고의 순수 가격 대비 품질 비율 (price-to-quality ratio)입니다. 저는 아마도 20가지 정도의 서로 다른 코딩 문제들을 이 모델로 실행해 보았는데, 모델은 계속해서 결과물을 내놓았습니다. 이렇게 저렴한 것이 이토록 뛰어날 수 있다는 사실은 진심으로 제 정신을 아득하게 만들었습니다.

DeepSeek Coder는 0.25달러의 가격으로 8.6점의 점수와 34.4점의 가치 점수(value score)를 기록하며 3위를 차지했습니다. V4 Flash와 거의 동일하지만, 더 어려운 문제에서는 약간 뒤처졌습니다. 만약 두 모델 중 하나를 선택해야 한다면, 저는 V4 Flash를 선택하겠습니다.

고가 모델들이 저에게 가르쳐준 중요한 교훈

자, 이제 제 가설이 완전히 무너지는 지점이 나옵니다. 저는 100만 토큰당 2.50달러인 DeepSeek-R1이 답변하기 전에 "생각"하는 추론 계층(reasoning layer)을 가지고 있기 때문에 모든 것을 압도할 것이라고 가정했습니다. 그리고 솔직히 말하자면? 가장 어려운 알고리즘 문제에서는 정말로 그랬습니다.

TypeScript를 이용한 Dijkstra 구현에서 DeepSeek-R1은 9.5점을 기록했습니다. 적절한 타입 안정성(type safety)을 포함했고, 우선순위 큐(priority queue)를 올바른 방식으로 사용했으며, 제가 요청하지 않았음에도 복잡도 분석(complexity analysis)까지 덧붙였습니다. 재귀적인 Python flatten 함수에서도 여러 가지 접근 방식과 Big-O 분석을 포함하여 9.5점을 받았습니다.

하지만 여기서 중요한 점이 있습니다. 이는 제가 부트캠프를 다닐 때 누군가 제게 꼭 말해줬으면 했던 사실인데, 약간 더 나은 답변을 얻기 위해 10배나 더 많은 비용을 지불하는 것이 항상 합리적인 것은 아니라는 점입니다. R1의 가치 점수는 3.8입니다. 이를 V4 Flash의 34.8과 비교해 보십시오. 특정 작업에서 얻을 수 있는 약 0.7점의 품질 향상을 위해 대략 10배의 가격을 지불하는 셈입니다.

100만 토큰당 3.00달러인 Kimi K2.5도 마찬가지입니다. 전체적으로 9.0점을 기록했고 사용 시 진정으로 프리미엄이라는 느낌을 주었지만, 가치 점수가 3.0이라는 것은 제 테스트 대부분에서 결과적으로 0.3점 차이를 보이는 것에 대해 V4 Flash보다 12배나 더 많은 비용을 지불하고 있다는 의미입니다.

1.92달러인 GLM-5는 8.0점의 점수와 4.2의 가치 점수를 기록했습니다. 좋긴 했지만 아주 뛰어나지는 않았으며, 더 저렴한 옵션들이 해낼 수 있는 능력을 확인한 후에는 그 가격을 정당화할 수 없었습니다.

더 많은 관심을 받을 자격이 있는 중간 계층

몇몇 모델들은 가장 저렴하지도, 가장 비싸지도 않은 그 묘한 중간 지대에 위치했습니다. $0.78의 DeepSeek V4 Pro는 9.1점을 기록했으며 가치 점수 (value score)는 11.7점이었습니다. 솔직히 말해서, 이 모델은 제가 던진 모든 작업에서 매우 탄탄한 성능을 보여주었습니다. 만약 실제 운영 중인 코드베이스 (production codebase)를 가지고 있고, 파산하지 않으면서도 신뢰성을 원한다면 이것이 최선의 선택이 될 수 있습니다.

$0.28의 Qwen3-32B는 8.3점을 기록했으며 가치 점수는 29.6점이었습니다. 이 모델은 코드 특화 모델이 아닌 범용 모델 (general-purpose model)이지만, 체급 이상의 성능을 보여주었습니다. 저처럼 여전히 배우는 단계에 있고 실제 코드 생성과 함께 일반적인 코딩 질문을 많이 던지는 사람에게는 합리적인 올라운더 (all-rounder)로 느껴졌습니다.

Tencent의 $0.57짜리 Hunyuan-Turbo는 저에게 이번 그룹 중 가장 실망스러운 모델이었습니다. 7.5점을 기록했으며 가치 점수는 13.2점이었습니다. 여러 차례 작동은 하지만 투박하게 느껴지는 코드를 제공했고, 한 번은 부트캠프 (bootcamp) 졸업생인 제가 절대 잡아내지 못했을 미묘한 버그가 포함된 JavaScript 스니펫 (snippet)을 주기도 했습니다. 사용 불가능한 수준은 아니지만, 다른 것을 먼저 찾게 될 것 같습니다.

감정을 불러일으킨 레이스 컨디션 (Race Condition) 테스트

버그 수정 챌린지에 대해 구체적으로 이야기해 보겠습니다. 왜냐하면 이것은 제가 부트캠프 시절 밤잠을 설치게 만들었던 종류의 문제이기 때문입니다. 버그가 있는 코드는 다음과 같았습니다:

let data = null;
fetch('/api/data').then(r => r.json()).then(d => data = d);
console.log(data); // 항상 null을 출력함 — 레이스 컨디션 (race condition)!

모든 모델이 이 문제를 잡아냈습니다. 무려 10개 모델 모두 말이죠. 하지만 그들이 이를 설명하는 방식은 매우 달랐습니다. DeepSeek V4 Flash는 세 가지의 서로 다른 수정 옵션을 제공하고 각각 언제 사용해야 하는지 설명해 주었습니다. Qwen3-Coder-30B는 한 걸음 더 나아가, fetch가 실패하더라도 수정 사항이 깨지지 않도록 적절한 에러 핸들링 (error handling)을 추가했습니다. DeepSeek Coder는 정답을 주었지만 설명이 최소화되어 있었는데, 이는 교정을 통해 실제로 배우려고 노력할 때는 그리 좋지 않은 방식입니다.

V4 Flash와 Qwen3-Coder-30B 모두 이 작업에서 9.0점을 기록하며 공동 1위를 차지했지만, Qwen3-Coder-30B의 추가적인 에러 처리 (error handling) 능력이 제 마음을 사로잡았습니다. 좋은 습관을 기르려고 노력하는 초보 개발자에게는 바로 그런 점이 중요합니다.

제가 실제로 이 모델들을 사용한 방법 (솔직한 이야기)

이 모든 테스트를 진행하면서, 저는 이 모델들로 실제 코드도 직접 작성해 봐야겠다고 생각했습니다. 단순히 테스트 문제만이 아니라, 실제 프로젝트 코드를 말이죠. 저는 사이드 프로젝트를 위한 작은 웹훅 핸들러 (webhook handler)를 구축했고, 단일 엔드포인트 (endpoint)를 통해 여러 모델에 접근할 수 있도록 Global API를 사용했습니다. Python으로 구현한 모습은 다음과 같습니다:

import requests

response = requests.post(
...

그 후 R1의 추론 (reasoning) 능력이 필요한 더 어려운 알고리즘 관련 작업에서는 모델 이름만 교체했습니다:

import requests

# 복잡한 알고리즘 문제를 위해 DeepSeek-R1 사용
...

부트캠프 시절의 나에게 해주고 싶은 말

만약 제가 과거로 돌아가 AI 코딩 도구에 대해 과거의 저에게 한 가지 조언을 해줄 수 있다면, 그것은 바로 이것입니다: 비싸다고 해서 반드시 더 나은 것은 아니라는 점입니다. 부트캠프 기간 동안 저는 항상 Twitter에서 가장 화제가 되는 모델만을 찾아다녔습니다. 그 결과 필요 이상의 훨씬 더 많은 돈을 낭비했습니다.

함수 작성, 작은 버그 수정, 보일러플레이트 (boilerplate) 생성과 같은 일상적인 코딩 작업에는 100만 토큰당 0.25달러인 DeepSeek V4 Flash만으로도 정말 충분합니다. 이것은 현재 제 작업 환경의 핵심적인 일꾼 (workhorse)이며, 조만간 이 상황이 바뀔 것 같지는 않습니다.

전용 코드 프로젝트를 진행하며 추가적인 정교함이 필요할 때는 0.35달러인 Qwen3-Coder-30B를 선택합니다. 코딩에 특화되어 학습되었다는 사실이 모든 응답에서 드러납니다.

알고리즘 도전 과제, 아키텍처 (architecture) 결정, 기묘한 엣지 케이스 (edge cases)와 같이 모델이 복잡한 내용을 깊이 생각해야 하는 진정으로 어려운 문제의 경우에는 2.50달러인 DeepSeek-R1에 기꺼이 비용을 지불할 가치가 있습니다. 모든 작업에 쓰라는 것이 아니라, 바로 그런 특정한 순간들을 위해서 말입니다.

그리고 솔직히 말해서, $0.20 가격의 Ga-Standard 또한 실험해 볼 가치가 있습니다. 작업에 맞춰 최적의 모델을 동적으로 선택한다는 사실은, 라우팅 (routing) 가격으로 R1 수준의 답변을 얻을 수도 있음을 의미합니다. 다만 결과는 달라질 수 있다는 점을 유념하세요.

내가 예상하지 못했던 배움

이 실험을 시작할 때, 저는 어떤 AI 모델이 코드를 가장 잘 작성하는지 배우게 될 것이라고 생각했습니다. 하지만 실제로 배운 것은 질문 자체가 다소 잘못되었다는 점이었습니다. 올바른 질문은 "내 프로젝트의 이 특정 시점에, 이 특정 작업에 어떤 모델이 적합한가"입니다.

부트캠프 졸업생으로서, 그 차이는 매우 중요합니다. 교육 과정 동안 저는 AI 도구들을 마치 하나의 마법 버튼처럼 다루었습니다. 버튼을 누르면 코드가 나오는 식이었죠. 하지만 이제 저는 그것들을 도구 상자 안의 서로 다른 도구들처럼 다룹니다. 때로는 드라이버가 필요하고, 때로는 렌치가 필요합니다. 때로는 대부분의 작업에는 과하지만, 어려운 작업에는 대체 불가능한 비싼 전동 공구가 필요하기도 합니다.

이 모델들 중 어떤 것이든 직접 사용해 보고 싶다면, Global API를 통해 꽤 수월하게 시작할 수 있습니다. global-apis.com/v1 엔드포인트(endpoint)에 접속하면 수많은 API 키를 번갈아 가며 관리할 필요 없이 다양한 모델을 테스트할 수 있습니다. 여러분의 코딩 스타일에 어떤 모델이 가장 잘 맞는지 파악하려 한다면, 꼭 확인해 보시길 추천합니다.

이 실험에 보낸 2주는 근사한 저녁 식사 한 끼 비용보다 적게 들었지만, 저는 단순히 호기심 많은 사람이 아닌 현업 개발자로서 이 도구들을 실제로 어떻게 사용해야 하는지에 대해 훨씬 더 명확한 그림을 얻었습니다. 이것이 저를 더 똑똑하게 만든 것인지, 아니면 그저 더 집요하게 만든 것인지는 아마 다른 종류의 AI에게 물어봐야 할 문제일 것입니다.