Claude Haiku 5.5 대 GPT-6 Luna: 비용 및 벤치마크 비교

Anthropic이 자체 출시 차트에서 선정한 소형 모델 매치업이 바로 Claude Haiku 5.5와 GPT-6 Luna입니다. 그래서 저희는 이 두 모델을 저희의 에이전트 코딩 벤치마크 두 가지에 모두 적용해 보았습니다. 그 결과, Haiku가 둘 다 우세했습니다.

Forge 1.0(인터넷 연결 없이 구축된 Atlassian Forge 앱)에서는 Haiku가 0.9661점을 기록하여 Luna의 0.395점보다 높았으며, 이는 31회 실행 중 네 번째 순위이며 Claude Opus 5.5보다 0.0106 낮았습니다. Gauntlet 7.2(결제 앱)에서는 Haiku가 0.661점을 기록하여 Luna의 0.4797점보다 높았습니다. 두 모델 모두 입력 토큰당 100만 개에 $0.10, 출력 토큰당 100만 개에 $0.50로 책정되어 있습니다. Haiku의 두 번 실행 비용은 $1.62였습니다. Luna는 $0.46이었습니다.

같은 150콜 예산으로 OpenRouter를 통해, 키보드를 아무도 만지지 않은 상태에서 테스트했습니다. 동일한 정가 가격에도 불구하고, 청구된 금액은 Haiku의 경우 3.6배 더 높았습니다. 이 비용 대부분은 Haiku가 말이 많아서 발생한 것이 아닙니다. 요청의 프롬프트가 10만 토큰을 초과할 때 가격이 다섯 배로 오르며, 저희 에이전트가 매 호출마다 전체 대화를 재전송하기 때문입니다. 이 실행들 중 Haiku의 111개 호출 중 64개가 그 기준(10만 토큰)을 넘었습니다. 한 번은 자체 에이전트의 버그 때문에 예정보다 여덟 콜이나 초과했습니다. 해당 호출을 보여드리겠습니다. 두 모델의 실행 간에는 몇 가지 차이가 있었습니다: Luna는 일주일 전에, 저희 에이전트와 스코어러의 이전 빌드를 사용하고 다른 장비에서 실행되었습니다. 이에 대해서도 모두 다루겠습니다.

저희 결제 앱에서는 각각 한 단계씩 실패한 것을 제외하면 두 모델 간에 근접합니다. 하지만 Forge 빌드에서는 전혀 가깝지 않습니다. 그리고 이 정가 가격은 에이전트의 가격이 아닙니다.

아래에는 점수와 읽는 방법, 호출별 청구서, 각 모델이 무엇을 구축했고 어디서 실패했는지, 다른 벤치마크 결과, 제 숫자에 문제가 있을 수 있는 부분, 그리고 제가 어떤 상황에 어떤 모델을 사용할지 등이 있습니다. 두 벤치마크의 전체 설계는 Claude Sonnet 5.5 vs Opus 5.5에서, 그리고 한 패밀리 내 소형 모델 대 대형 모델 비교는 Qwen3.8 Flash vs Max Prime에서 확인할 수 있습니다.

Claude Haiku 5.5 대 GPT-6 Luna: 두 보드에서의 점수

이 점수들은 제가 10월 10일 토요일, EEST 기준 10시 11분에 확인한 것입니다. Gauntlet board는 현재의 지표이며, 이 표가 아닙니다. Forge 1.0 보드는 고정되어 있어 열이 움직이지 않습니다. Forge 페이지에서 버전을 Forge 1.0으로 전환하면 확인할 수 있습니다. Haiku의 더 큰 형제 모델들과 Forge 리더가 규모 비교를 위해 배치되어 있습니다.

이 모델 이름들은 OpenRouter에서 가져온 것입니다: anthropic/claude-haiku-5.5와 openai/gpt-6-luna. 모든 실행은 오픈 소스 에이전트인 Block의 포크 버전(fork)을 사용하여, 150회의 호출 예산과 인간의 도움 없이 하나의 모델이 구동한 것입니다. 청구액(Bills)은 OpenRouter가 각 생성에 대해 기록하는 금액을 합산한 것이며, 이는 하한선입니다. 실행 페이지에는 모든 점검 사항이 담겨 있습니다: Haiku의 Gauntlet 실행과 Forge 실행, Luna의 Gauntlet 실행 및 Forge 실행.

이 점수들을 읽는 방법

각 벤치마크는 스토리지, UI 또는 3D 상호작용과 같은 계층(tier)으로 그룹화된 수백 개의 자동 검사로 구성됩니다. 실행 점수의 88%가 이 계층 점수이며, 저는 이를 아래의 핵심 점수(core score)라고 부릅니다. 나머지 12%는 탁월함(excellence)인데, 여기서는 주로 경제성(economy), 즉 앱이 얼마나 적은 API 호출을 사용하는지를 의미합니다. 치명적인 오류(critical)는 전체 실행 점수를 최대 0.6으로 곱하는 실패입니다. 밴드(band)는 반드시 통과해야 하는 검사 그룹이며, 하나라도 실패하면 해당 실행 점수에 상한선(ceiling)이 걸립니다 (나머지 부분에 관계없이 0.699 또는 0.799). Forge는 추론 노력(reasoning effort)을 중간(medium)으로 고정하고 빌드 모델을 인터넷에서 차단합니다. Gauntlet은 각 모델을 기본 노력 수준(default effort), 즉 두 공급업체 모두 중간(medium)이라고 문서화한 상태로, 네트워크를 열어 실행합니다. 정확한 규칙은 방법론 페이지에서 확인할 수 있습니다.

전체 글을 통틀어 한 가지 주의할 점이 있습니다. 각 모델은 보드당 하나의 실행만 가집니다. 단일 실행으로는 모델의 운(luck)을 분리할 수 없으며, Forge 빌드에서의 초기 결정 하나가 실행 전체를 하나의 밴드만큼 움직일 수 있습니다. 아래 모든 내용을 이 실행들에서 무슨 일이 일어났고 왜 점수 계산기가 그렇게 말하는지 읽으십시오. 이것은 모델에 대한 법칙이 아닙니다.

네 가지 실행을 통해 밝혀낸 것

1. 청구서 격차의 대부분은 토큰 수가 아니라 10만 스텝(step)에서 비롯되었습니다. Haiku의 Gauntlet 프롬프트 토큰 중 88%와 Forge 프롬프트 토큰 중 75%가 한계를 초과하는 요청에 포함되어 있었습니다. 제가 재산정한 모델로는 실제 청구서 금액을 모두 5.5% 이내로 재현할 수 있었습니다.
2. 하나의 도구 결과가 상당한 피해를 입혔습니다. Haiku는 단일 셸 명령어(shell command)로 자체 서비스를 테스트했는데, 이 명령은 14개의 curl 호출을 연결했고 그 출력물은 14줄에 걸쳐 188,758바이트였습니다. Goose는 출력이 한계를 초과했다고 판단하고 모든 것을 통과시켰습니다. 이 과정에서 프롬프트 토큰 수는 57,094개에서 148,478개로 급증했습니다.
3. Haiku의 Forge 앱은 모든 핵심 검사(core check)를 통과했으며, 그 경제성은 Opus에 근접했습니다. Opus와의 전체 0.0106 격차는 백필(backfill) 과정에서 Jira 호출 두 번(Opus는 14회 대비 16회), 그리고 라이브 경로에서의 반올림 값으로 발생한 것입니다.
4. Luna의 Forge 앱은 완벽한 라이브 원장(live ledger)과 빈 기록을 작성했습니다. 스코어러(scorer)의 라이브 이벤트 행(live event rows)은 22개 중 22개가 정확했고, 첫 번째 예약된 백필에서는 62개의 과거 변경 사항 중 0개를 기록했습니다. 스프린트 모달(sprint modal)의 모든 행에는 'event'라고 쓰여 있고 'reconcile'라는 단어는 없습니다.
5. Luna의 매니페스트(manifest)에는 런타임에서 문제가 되는 두 가지 결함이 있었습니다: 스프린트의 이슈를 나열하는 Jira Software 호출에 대한 범위가 없어서 사이트 측에서 401 응답을 보냈고, 코드가 사용하는 Forge LLM 호출을 위한 llm 모듈이 없었습니다.
6. Gauntlet에서 Luna의 실행은 총 150번의 호출을 사용했으며, 호출당 비용은 $0.0015였습니다. Haiku는 39회의 호출만으로 작업을 완료했다고 선언했고, 호출당 비용은 $0.028이었으며, 호출당 약 열 배 더 많은 출력을 작성했습니다.
7. Haiku의 Gauntlet 상한선은 숨겨진 선택 버퍼(hidden pick buffer) 내 하나의 번호 지정 선택에서 비롯되었습니다. 모든 8가지 검사된 자세(inspected poses)에서 모든 타워 부품을 그려냈음에도 불구하고 여전히 밴드(band)를 통과하지 못했습니다.

Haiku 대 Luna 비용: 동일한 목록 가격, 청구서 금액은 3.6배 차이

그리고 네 번의 실행 결과가 여기에 있습니다.

각 실행에는 우리의 하네스(harness)가 다른 모델에 수행하는 작은 사이드 호출이 포함되어 있으며, 청구 금액은 하한선입니다. Luna의 Forge 토큰 계산 및 중단 사유는 제가 이 글을 위해 접근할 수 없었던 파일에 있습니다. 이에 대해서는 아래에서 더 자세히 설명하겠습니다. 벽 시간(wall time)은 스코어링 전 에이전트 자체의 시간입니다. Luna는 Haiku가 39번 수행한 것보다 적은 시간, 즉 호출당 약 13초로 150번의 호출을 수행했습니다.

GPT-6 Luna 벤치마크: 각 $0.0015로 150회 호출

OpenAI는 Luna를 "집중적이고 대용량 작업을 위한 가장 효율적인 모델(Our most efficient model for focused, high-volume tasks)"이라고 부르며, 실제로도 그러했습니다. Gauntlet에서 이 모델은 150번의 호출 동안 1290만 개의 프롬프트 토큰을 읽고, 호출당 1,142개의 출력 토큰을 작성했습니다. Haiku는 호출당 11,778개를 작성했으며, 청구된 출력 중 80%가 추론(reasoning)에 사용되었습니다. Luna는 150번의 짧은 호출을 수행한 반면, Haiku는 39번의 긴 호출을 수행했습니다.

GPT-6 Luna Pro 역시 OpenAI의 프로 추론 모드에서 사용되는 모델로 Gauntlet 테스트를 거쳤습니다. Sonnet vs Opus 비교에서 이를 다루고 있습니다: 1.90달러에 0.1343으로, 이는 일반 Luna의 청구액보다 8배 이상 비싸지만 점수는 3분의 1도 안 됩니다. Luna Pro는 Forge 테스트를 거치지 않았으며, 저희 보드에서 일반 Luna를 더 높은 노력도로 실행한 사례는 없습니다.

에이전트에게 부담을 주는 10만 토큰 이상의 Claude Haiku 5.5 가격 책정

Goose는 모든 호출마다 전체 대화 내용을 다시 전송합니다: 시스템 프롬프트, 작업 내용, 작성된 모든 파일 및 지금까지의 모든 도구 결과까지 말입니다. 프롬프트 캐싱은 반복되는 부분을 저렴하게 만들지만, 여전히 10만 토큰에 포함됩니다. 저희 테스트에서는 프롬프트가 계속 늘어났고, 한 번 호출이 이 선을 넘으면 이후의 모든 호출도 마찬가지였습니다.

Two charts side by side. Left, a line chart of prompt tokens per call for Haiku 5.5's two runs against a dashed line at 100 thousand: the Gauntlet run climbs to about 57 thousand by call 15, jumps to about 148 thousand at call 16, annotated as one 188,758-byte shell output passed in full, and ends near 195 thousand at call 39; the Forge run climbs steadily, crosses 100 thousand at call 33 and ends near 152 thousand at call 72. Right, a bar chart of dollars per run: Gauntlet, Haiku billed 1.10, Haiku re-priced under 100k 0.30, Luna billed 0.23; Forge, Haiku billed 0.52, re-priced 0.19, Luna billed 0.22

Gauntlet에서 Haiku의 39개 호출 중 24개가 10만 토큰을 초과했으며, 이는 16번째 호출부터 시작되었습니다. 이 24개 호출이 프롬프트 토큰의 88.1%와 출력 토큰의 65.8%를 차지했습니다. Forge에서는 72개 중 40개가 이를 차지하며, 33번째 호출부터 시작되었고 프롬프트 토큰의 75.4%를 차지했습니다. 저는 Anthropic의 두 가지 요율을 사용하여 모든 테스트 측정값에서 각 호출에 대한 비용을 재산정했으며, 각각 실행된 캐시 읽기 비율(95.7%, 97.7%)을 사용했습니다. 모델은 두 테스트 모두에서 실제 청구액 대비 5.5% 이내의 가격으로 책정되었는데, Gauntlet에서는 1.1533달러 대 1.1046달러였고, Forge에서는 0.5469달러 대 0.5186달러였습니다. 그 모델을 기준으로 할 때, 'step'이 없는 동일한 호출은 Gauntlet에서 약 0.30달러, Forge에서 약 0.19달러에 달합니다. Luna는 각각 0.23달러와 0.22달러를 청구했습니다. 대략 비슷한 수준입니다. 실제 청구액과 비교했을 때, 'step'은 Gauntlet에서 약 3.7배, Forge에서 약 2.7배의 비용을 발생시킵니다.

캐싱이 이 문제를 해결해주지는 못합니다. 선을 넘어서면 캐시 읽기 비용이 0.01달러가 아닌 0.05달러가 되며, Haiku 프롬프트의 거의 전부가 캐시 읽기로 이루어져 있습니다.

Luna의 Gauntlet은 평균 86,061개의 프롬프트 토큰을 사용했으며, 이는 최대 272K에 비해 훨씬 적습니다. 저는 호출당 최대치를 알지 못하므로, 이 수치가 초과되었다고 주장하지 않겠습니다.

[

Cartoon illustration of a sweating orange robot with a huge overstuffed backpack of papers emptying a sack of gold coins into a toll booth bucket, while a small blue robot with a tiny backpack in the next lane pays a single coin](https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fcdn.sanity.io%2Fimages%2F3oa2omis%2Fproduction%2F46387f15942cf31621b53e1f29e6f5110b48490b-1600x896.png