10개의 LLM (Large Language Models)을 동일한 5가지 코딩 문제로 테스트하며 주말을 보낼 줄은 꿈에도 몰랐지만, 결국 이렇게 되었습니다. 제 노트에는 47페이지 분량의 수기 관찰 기록이 있고, 50개 이상의 열이 있는 스프레드시트가 있으며, 시작할 때는 가질 것이라 예상치 못했던 의견도 생겼습니다.

요약하자면: 저렴하다고 해서 항상 최고인 것은 아니며, 비싸다고 해서 항상 그만한 가치가 있는 것도 아닙니다. 그리고 출력 가격과 알고리즘 추론 깊이 사이에는 코드를 배포하는 사람이라면 누구나 관심을 가져야 할 놀라운 상관관계가 있습니다. 데이터를 통해 자세히 설명해 드리겠습니다.

설정 (The Setup)

저는 직업이 데이터 과학자(Data Scientist)이기 때문에, 한 고객이

Ga-Standard에 대해 한 가지 짧게 언급하자면 — 이것은 라우팅 레이어 (routing layer)이므로, 그 점수는 각 작업에 대해 어떤 모델로 디스패치(dispatch)하느냐에 따라 진정으로 달라집니다. 저는 이것이 나타나는 모든 곳에 별표(*)를 표시했습니다. 라우터를 평가하는 것이라면, 여러분은 실제 원시 능력 (raw capability)이 아니라 라우팅 결정 (routing decisions)을 평가하는 것입니다.

전체 수치 (The Overall Numbers)

다음은 순위별로 정렬된 종합 점수 표입니다. "가치 (Value)" 열이 저를 생각에 잠기게 했습니다 — 이는 말 그대로 점수를 출력 가격으로 나눈 값으로, 달러당 대략적인 품질 지표 (quality-per-dollar index)를 제공합니다. 높을수록 좋으며, 그 차이가 엄청납니다:

순수 점수만 본다면 DeepSeek-R1이 9.4로 승리합니다. 가격만 본다면 Ga-Standard가 $0.20로 승리합니다. 달러당 가치를 본다면 기술적으로는 Ga-Standard가 차트의 최상단에 위치하지만 — 다시 말씀드리지만, 이는 라우팅에 의한 결과물 (routing artifact)입니다. 고정된 모델들 사이에서 가격과 점수 사이의 상관관계는 양의 상관관계를 보이지만 강력하지는 않습니다 (눈대중으로 보기에 r ≈ 0.45 정도로 추정됩니다). 이는 저렴한 모델들이 격차를 상당히 좁혔음을 의미합니다.

제가 실제로 Global API를 통해 이 모델들을 어떻게 호출했는지 보여드리겠습니다. 기본적인 패턴은 다음과 같습니다 — 어떤 OpenAI 호환 클라이언트 (OpenAI-compatible client)든 베이스 URL (base URL)을 넣기만 하면 끝납니다:

from openai import OpenAI

client = OpenAI(
...

이 방식 덕분에 전체 벤치마크 (benchmark)를 실행 가능하게 만들 수 있었습니다. 하나의 클라이언트, 하나의 인증 흐름 (auth flow), 열 개의 모델. 실행 간의 유일한 변경 사항은 model="..."를 교체하는 것뿐이었습니다.

작업 1: 재귀적 리스트 평탄화 (Recursive List Flattening, Python)

가장 간단한 작업이지만 유용한 기준점 (baseline)입니다. 대부분의 모델이 이를 완벽히 수행했습니다; 차이점은 코드 품질과 추가 요소에서 나타났습니다:

이 그룹의 최저 점수는 8.5였고, 최고 점수는 9.5였습니다. 이는 5개의 모델 사이에서 1점 차이에 불과한 좁은 편차이며, 직관적으로 타당한 결과입니다. 중첩된 리스트를 평탄화(Flattening)하는 것은 교과서적인 문제이며, 거의 모든 괜찮은 모델은 훈련 과정에서 수천 개의 솔루션을 접했을 것입니다.

DeepSeek-R1은 프롬프트(prompt)를 넘어선 방식으로 이 작업을 수행했습니다. 다른 모델들이 def flatten(nested): ...라고 작성하고 멈춘 반면, R1은 시간/공간 복잡도(time/space complexity)에 대한 설명과 리스트가 아닌 반복 가능한 객체(non-list iterables)에 대한 폴백(fallback)을 추가했습니다. 이러한 추가적인 추론(reasoning) 능력은 해당 모델의 비용이 높은 이유와 동일한 특성입니다. 즉, 사용자가 요청했든 아니든 사고의 사슬 (chain-of-thought) 토큰에 대한 비용을 지불하게 되는 것입니다.

작업 2: JavaScript 비동기 경합 조건 (Async Race Condition) 수정

모든 모델에게 제공한 버그가 있는 코드:

let data = null;
fetch('/api/data').then(r => r.json()).then(d => data = d);
console.log(data); // 항상 null을 출력함 — 경합 조건 (race condition) 발생!

모든 강력한 모델들은 누락된 await 또는 .then() 체이닝의 필요성을 정확히 식별했습니다. 흥미로운 차이점은 설명의 품질에서 나타났습니다:

저는 이 항목에서 DeepSeek V4 Flash와 Qwen3-Coder-30B가 동점을 기록했다고 판단했습니다. 두 모델 모두 .then() 체이닝과 async/await 대안을 모두 포함하여 프로덕션 환경에 바로 적용 가능한 (production-ready) 수정안을 제시했습니다. 이 세트의 세 번째 모델인 DeepSeek Coder는 기술적으로는 정확했지만, 원본 코드가 왜 망가졌는지에 대해 설명하지 않았습니다. 이는 코드를 유지보수할 주니어 개발자에게 전달할 때 매우 중요한 부분입니다.

여기서 유용한 정성적 패턴을 발견할 수 있습니다: 코드 특화 모델(Qwen3-Coder, DeepSeek Coder)은 정확하지만 간결한 출력을 내는 경향이 있는 반면, 범용 추론 모델(general-purpose reasoning models)은 더 상세하게 설명하는 경향이 있었습니다. 학습을 중시하는 팀에게는 후자가 버그가 아닌 실제적인 기능(feature)이 됩니다.

작업 3: TypeScript에서의 Dijkstra 알고리즘

이 지점에서 점수들이 의미 있게 갈라지기 시작했습니다. Dijkstra 알고리즘은 사소한 작업이 아닙니다. 우선순위 큐 (priority queue), 적절한 타입 어노테이션 (type annotations), 그리고 도달할 수 없는 노드 (unreachable nodes)와 같은 예외 케이스 (edge cases)를 처리해야 합니다.

제가 참고하고 있던 원문의 나머지 표를 전부 붙여넣지는 않았습니다 (작업 3 부근에서 응답 시간을 측정하기 시작하면서 메모가 다소 혼란스러워졌기 때문입니다). 하지만 핵심적인 결과는 유지되었습니다. 추론 최적화 모델 (reasoning-tuned model)과 코드 특화 모델 (code-specialized model)은 모두 TypeScript Dijkstra를 완벽히 수행한 반면, 성능이 낮은 범용 모델 (general-purpose models)들은 예외 케이스에서 실수하기 시작했습니다.

또한 이 작업은 가격과 품질의 상관관계가 본격적으로 체감되기 시작한 첫 번째 작업이기도 했습니다. 알고리즘 작업의 경우, 저가형 계층 (출력 1M 토큰당 $0.50 미만)은 '가진 자'와 '못 가진 자'로 나뉘었습니다. DeepSeek V4 Flash는 놀라울 정도로 잘 버텨냈지만, Hunyuan-Turbo는 한계를 보이기 시작했습니다.

비용-품질 트레이드오프 (Cost-Quality Trade-off) 시각화

제가 이를 생각하는 방식은 다음과 같습니다. 10개의 모델을 2D 산점도 (x = 가격, y = 점수)로 순위를 매기면, 대략 세 개의 클러스터 (clusters)가 나타납니다.

• 예산 계층 (Budget tier, $0.20–$0.35): 점수 7.5–8.8, 가치 점수 (value scores) 13–35. Qwen3-Coder-30B와 DeepSeek V4 Flash가 이 구간에 속합니다. 가성비가 가장 좋으며, 통계적으로 일상적인 작업에서 압도적입니다.
• 중간 계층 (Mid tier, $0.57–$1.92): 점수 7.5–9.1, 가치 점수 4–13. 성적이 엇갈립니다. DeepSeek V4 Pro는 가격 대비 뛰어난 성능을 보여줍니다. GLM-5는 실망스럽습니다.
• 프리미엄 계층 (Premium tier, $2.50–$3.00): 점수 9.0–9.4, 가치 점수 3–4. 알고리즘이나 아키텍처 작업에서 마지막 0.5점의 품질이 진정으로 필요한 경우에만 가치가 있습니다.

중간 계층은 달러당 가치 측면에서 통계적으로 가장 좋지 않은 지점입니다. 예산 계층보다 더 많은 비용을 지불하면서도 예산 계층의 점수를 안정적으로 얻지 못하기 때문입니다. 이는 조달 결정 (procurement decisions)에 있어 실질적인 발견입니다.

두 번째 코드 예시

REST 엔드포인트 (REST endpoint) 작업의 경우, 저는 async/await 수정과 전체 기능 구축 (full feature build)을 모두 테스트했습니다. Express 엔드포인트를 위해 코드 특화 모델 (code-specialized model)을 호출하는 방법은 다음과 같습니다:

response = client.chat.completions.create(
    model="qwen3-coder-30b",
    messages=[
...

온도 (temperature)를 0.1로 낮추는 것은 코드 생성 (code generation) 작업에서 의미 있는 차이를 만들어냈습니다. 환각된 임포트 (hallucinated imports)가 줄어들고 스타일이 더 일관되게 유지되었습니다. 이 모델들을 벤치마킹하는 분들이라면 API가 허용하는 한 온도 (temperature)와 시드 (seed)를 고정할 것을 권장합니다.

제 권장 사항을 바꾼 놀라운 결과

이 벤치마크를 시작할 때, 저는 모든 작업에 DeepSeek-R1을 추천할 것이라고 가정했습니다. 서류상으로는 가장 높은 점수를 기록한 모델이기 때문입니다. 50개의 채점된 출력물 (graded outputs)을 확인한 후, 저의 권장 사항은 조건부로 바뀌었습니다:

• 약 100라인 미만의 일상적인 CRUD, 버그 수정 (bug fixes), 표준 알고리즘 작업: $0.25/M의 DeepSeek V4 Flash. R1과의 점수 차이는 0.7점입니다. 가격 차이는 10배입니다. 통계적으로 볼 때, 대부분의 팀에게 이 차이는 비용을 들일 가치가 없습니다.
• 제가 배우고 싶은 코드 (명확한 설명, 다양한 접근 방식): $3.00/M의 Kimi K2.5. 이 모델의 장황함 (verbosity)은 사실 변장한 문서화 (documentation)와 같습니다.
• 어려운 알고리즘 작업 (Dijkstra, 동적 계획법 (dynamic programming), 새로운 아키텍처): $2.50/M의 DeepSeek-R1은 프리미엄을 지불할 가치가 있습니다. 추론 흔적 (reasoning traces)이 결과물을 진정으로 개선합니다.
• 그저 "좋은 답변"을 원하는 예측 불가능한 워크로드: $0.35/M의 Qwen3-Coder-30B. 합리적인 가격의 최고의 올라운더 (all-rounder)입니다.

다음에 보고 싶은 것

저의 n=10 모델 세트는 시작점일 뿐, 최종 판결은 아닙니다. 샘플 크기가 이렇게 작으면 개별 점수의 신뢰 구간 (confidence intervals, CI)이 넓습니다. 모델당 작업당 ±0.3 정도로 추정됩니다. 달러당 가치 순위에 대해 좁은 신뢰 구간 (CIs)을 얻으려면, n=30 이상의 모델과 모델당 아마도 20 이상의 작업이 필요할 것입니다. 그것은 향후 프로젝트의 과제입니다.

또한 제가 테스트해보고 싶은 것들은 다음과 같습니다: 지연 시간 분산 (latency variance, 일부 모델은 p99 지연 시간이 중앙값보다 3배 더 높습니다), 토큰 효율성 (token efficiency, R1은 추론이 필요하지 않은 경우에도 답변당 훨씬 더 많은 토큰을 사용합니다), 그리고 종단적 드리프트 (longitudinal drift, 이 점수들이 6개월 후에도 유지될 것인가?). 이것들이 실제 프로덕션 배포 (production deployment)를 위해 정말로 중요한 질문들입니다.

직접 벤치마크 (benchmark)를 실행해보고 싶다면, Global API의 통합 엔드포인트 (unified endpoint) 덕분에 제 작업이 훨씬 수월해졌습니다. 하나의 베이스 URL (https://global-apis.com/v1), 하나의 인증 정보 (credentials), 그리고 동일한 세션에서 A/B 테스트를 할 수 있는 10개의 모델이 준비되어 있습니다. 9개의 서로 다른 클라이언트 통합 (client integrations)을 유지 관리하는 데 지쳤다면 확인해 보세요.

결론: 데이터는 마케팅 페이지보다 더 명확한 이야기를 들려줍니다. 저렴한 모델들은 대부분의 코딩 작업에서 진정으로 경쟁력이 있으며, 가격과 품질 사이의 상관관계는 양의 상관관계를 보이지만 느슨합니다. 그리고 프리미엄 추론 모델 (reasoning models)은 가장 어려운 10~20%의 프롬프트 (prompts)에서만 그 비용만큼의 가치를 합니다. 그에 맞춰 적절히 지출하십시오.