에이전트 벤치마크 (Agent benchmarks)는 누가 작업을 해결할 수 있는지 알려줍니다. 우리는 누락되었던 계층, 즉 검증된 각 결과에 비용이 얼마나 드는지에 대한 계층을 구축했습니다.

대부분의 리더보드 조회는 질문의 절반에만 답합니다

이제 에이전트 벤치마크 (Agent benchmarks)는 어디에나 있습니다: SWE-bench, Terminal-Bench, OSWorld, GAIA. 이들은 누가 가장 높은 점수를 얻는지 보여주며, 일부는 실행 레벨 (run level)에서의 비용도 공개합니다.

하지만 사람이나 기계 중 누구를 고용하기 전에, 실질적인 질문은 다릅니다:

작업을 완료하는 데 비용이 얼마나 드는가?

그러한 데이터 중 일부는 이미 존재합니다. Princeton의 HAL은 점수와 함께 기록된 실행 비용을 게시합니다. Terminal-Bench 2.0 제출물에는 달러 비용과 통과/실패 결과를 포함하여 개별 작업 시도에 대한 result.json이 포함되어 있습니다.

그동안 누락되었던 것은 다음을 연결하는 공유된 작업 레벨 (task-level)의 관점입니다:

에이전트 설정 (agent configuration) → 벤치마크 작업 (benchmark task) → 검증된 통과 (verified pass) → 기록된 비용 (recorded cost)

우리는 Agent Taxonomy Graph의 일부로 해당 계층을 구성했습니다.

우리가 수집한 데이터

• HAL (Princeton): 9개 벤치마크에 걸친 46개의 평가 실행 (evaluation runs), 보고된 실행 레벨 (run-level) 비용 포함.
• Terminal-Bench 2.0: 75개의 공개 제출물 및 32,803개의 작업별 result.json 파일, 각 파일에는 기록된 비용과 통과/실패 결과가 포함됨.
• 큐레이션된 벤치마크 관찰 데이터: 점수와 가격이 모두 부착된 131개의 평가 실행 (evaluation runs) 및 29개의 모델 설정 (model configurations) 데이터셋으로 병합됨.

모든 실행은 소스 URL과 검증 상태를 유지합니다. 이는 스크래핑된 리더보드 테이블이 아니라 증거 계층 (evidence layer)으로 의도되었습니다.

범위 (Scope): 실행 레벨 (run-level) 비교는 방향성을 제시할 뿐, 정규화된 순위가 아닙니다. 벤치마크 혼합, 하네스 설계 (harness design), 재시도 정책 (retry policy), 컨텍스트 제한 (context limits), 비용 회계 (cost accounting)는 공개된 평가마다 다릅니다. 더 명확한 비교는 동일한 벤치마크 작업 및 동일한 검증 통과 조건 레벨에서 이루어집니다.

비용이 말해주는 것

그 격차가 핵심입니다.

평가된 구성(configurations) 전반에 걸쳐, 벤치마크 실행당 기록된 비용은 대략 $0.03에서 $1,600 이상까지 나타납니다. 이는 에이전트 리더보드(agent leaderboards)에서 나란히 배치될 수 있는 시스템들 사이에서 무려 5자릿수(five orders of magnitude)에 달하는 차이입니다.

2026년 7월 기준, 현재의 비용 × 점수 파레토 프런티어 (Pareto frontier):

구성 (Configuration)	기록된 평가 실행당 비용	평균 점수
DeepSeek-V3.2	$0.03	39.6%
...

아래에서 위로 읽어보면 다음과 같습니다:

약 $0.06의 비용이 드는 구성은 이미 60%를 통과합니다.

이 샘플에서 점수를 약 62%에서 87%로 올리는 데는 대략 10~30배 더 많은 비용이 듭니다.

이것이 저렴한 에이전트와 재시도(retries)의 조합이 항상 더 비싼 단일 패스(single pass)를 이긴다는 것을 증명하는 것은 아닙니다. 신뢰성(Reliability), 검증기 비용(verifier cost), 재시도 예산(retry budgets), 그리고 실패 모드(failure modes)는 여전히 중요합니다.

하지만 이는 반드시 측정되어야 할 질문을 던집니다:

단순히 시도당 비용(cost per attempt)이 아니라, 수락된 결과당 비용(cost per accepted result)은 얼마인가?

검증 비용이 저렴하고 재시도 여유가 있는 작업의 경우, 저비용 구성이 리더보드 순위가 시사하는 것보다 훨씬 더 경쟁력이 있을 수 있습니다.

작업별(Per-task)로 보면 흥미로워집니다

합산 점수(Aggregate scores)는 가장 강력한 신호를 가립니다.

벤치마크 작업과 그 검증기(verifier)가 고정되었을 때, 가격 격차는 무시하기 어려워집니다:

• pytorch-model-cli — 47회의 기록된 성공적인 실행, 가격은 $0.001에서 $1.47 사이. 동일한 벤치마크 작업, 동일한 검증 통과 조건임에도 1,109배의 가격 차이가 발생합니다.
• qemu-startup — 48회의 기록된 성공적인 실행, 810배의 비용 격차를 보입니다.
• log-summary-date-ranges — 58회의 기록된 성공적인 실행; 가장 저렴한 Terminus 2 + DeepSeek-V3.2는 약 0.5센트의 비용이 들었습니다.

이것들은 중복 제거된 구성(deduplicated configurations)이 아니라 성공적인 실행(successful runs)들입니다. 동일한 에이전트 × 모델 쌍이 여러 번 나타날 수 있는데, 이는 각 시행(trial)이 단계(steps), 재시도(retries), 토큰(tokens), 도구 사용(tool use)과 같은 각기 다른 궤적(trajectory)을 갖기 때문입니다.

이들은 동일한 에이전트 궤적은 아닙니다. 하지만 외부에서 확인된 동일한 작업에 대해 비교 가능한 검증된 완료(verified completions)들입니다.

우리는 해당 결과에 대한 공통적인 공개 가격 계층(common public price layer)을 찾지 못했습니다.

독자는 하나의 설정(configuration)이 통과된 것을 볼 수 있습니다. 또 다른 설정이 전체적으로 더 높은 점수를 받은 것도 볼 수 있습니다. 하지만 독자가 보통 볼 수 없는 것은, 두 설정 모두 동일한 태스크(task)를 통과했다는 점 — 그리고 하나는 세 자릿수(three orders of magnitude)만큼 더 적은 비용을 지불했다는 점입니다.

그것이 바로 격차(gap)입니다.

방법론, 쉬운 용어로 설명하자면

현재 데이터셋은 공개된 평가 아티팩트(evaluation artifacts)를 공통 그래프로 결합합니다:

• 분석 단위 (Unit of analysis): 기록된 평가 실행(evaluation run) 또는 태스크 시도(task attempt)
• 비용 (Cost): 소스 아티팩트(source artifact)에 보고된 API 지출액
• 성공 (Success): 벤치마크 검증기(benchmark verifier) 통과 여부
• 커버리지 (Coverage): 131개의 평가 실행, 29개의 모델 설정, 그리고 31,913개의 추출된 태스크별 가격 행(price rows)
• 증거 (Evidence): 실행당 유지되는 소스 URL 및 검증 상태
• 아직 정규화되지 않은 항목: 인프라 비용, 하네스(harness) 차이, 토큰 계산 방식의 차이, 재시도 정책(retry policy), 컨텍스트 제한(context limits), 또는 반복 실행에 따른 신뢰성

목적은 보편적인 "최고의 에이전트(best agent)"를 선언하는 것이 아닙니다.

검증된 결과의 비용을 비교할 수 있을 만큼 가시화하는 것입니다.

가격 그래프는 실시간으로 업데이트됩니다

추출된 31,913개의 태스크 레벨 가격 행은 더 이상 단순한 원료(feedstock)가 아닙니다. 태스크에 고정된 가격 뷰(task-anchored price view)는 이제 ATG 대시보드에 전용 화면으로 제공됩니다.

최소 하나 이상의 해결된 가격 책정 실행(priced run)이 있는 Terminal-Bench 2.0 태스크 90개 중 87개 각각에 대해 다음을 보여줍니다:

• 검증된 통과(verified pass)의 최저 비용 및 중앙값(median cost);
• 공유된 로그 스케일(log scale) 상의 전체 최소→최대 가격 범위;
• 기록된 모든 시도에 대한 해결률(solve rate);
• 소스 증거와 연결된, 가장 저렴하게 기록된 20개의 성공적인 실행.

데이터셋에서 가격이 책정된 가장 어려운 태스크인 make-doom-for-mips는 358번의 시도 중 단 12번만이 해결되었습니다.

대시보드는 또한 가장 저렴한 검증 통과 비용을 각 태스크를 해결할 수 있었던 고유 설정(distinct configurations)의 수와 함께 도표로 나타냅니다. 이를 통해 트레이드오프(trade-off)를 확인할 수 있습니다: 어떤 태스크는 일단 해결되면 저렴하지만, 다른 태스크들은 극소수의 설정만이 완수할 수 있기 때문에 계속해서 비싼 상태로 남아 있습니다.

다음 단계는 동일한 구조를 지식 그래프 (Knowledge Graph)로 발행하는 것입니다. 각 표준 태스크 (Canonical Task)는 노드 (Node)가 되며, 가격이 책정된 모든 검증된 통과 (Verified Pass) 결과는 기록된 비용에 의해 가중치가 부여된 엣지 (Edge)가 되어 해당 증거 (Evidence)와 연결됩니다.

그 결과는 단순한 또 다른 리더보드가 아닙니다.

이는 에이전트 시장을 위한 공개 가격 레이어 (Public Price Layer)입니다:

어떤 설정 (Configurations)이 이 검증된 태스크를 완료할 수 있는가 — 그리고 각각 얼마를 지불했는가?

실제 데이터는 ATG 대시보드에서 확인할 수 있습니다: 133개의 에이전트, 검증된 역량 (Capabilities), 프로토콜 (Protocols) — 그리고 이제 태스크별 가격까지 확인할 수 있습니다.

대시보드는 분석적 뷰 (Analytical View)입니다.

Geo Protocol은 에이전트 분류 그래프 (Agent Taxonomy Graph)를 위한 출처 레이어 (Provenance Layer)입니다: 에이전트 시스템, 역량, 벤치마크 관측값 (Benchmark Observations), 그리고 그 증거들은 정적인 행 (Static Rows)이 아닌 쿼리 가능한 엔티티 (Queryable Entities)로 발행됩니다.

현재의 ATG 허브와 이 연구 포스트는 Geo Protocol에 게시되어 있습니다: 포스트 자체 및 에이전트 분류 그래프 허브.

다음 발행 단계는 해당 그래프에 태스크 수준의 가격 관측값 (Price Observations)을 추가하는 것입니다: 표준 벤치마크 태스크를 노드로, 그리고 검증된 각 가격 책정 결과를 증거와 연결된 관계 (Relation)로 구성합니다.

피드백: @maximl