가장 가치 있는 도메인 전반의 에이전트 역량 측정을 위한 벤치마크, GDPx 출시

오늘 저희는 가장 가치 있는 도메인 전반에 걸쳐 에이전트 역량(agentic capabilities)을 측정하는 벤치마크인 GDPx를 공개합니다.

GDPx는 진정한 프론티어 수준(frontier-level)의 벤치마크입니다. 최고의 모델조차 단지 12%(1/7)를 기록합니다.

GDPx는 다음 도메인들을 다룹니다. 각 도메인은 최소 한 곳 이상의 전문 데이터 파트너와의 협업으로 이루어졌습니다. SemiAnalysis가 최종 QA를 담당했으며, 태스크 반복(task iteration)에 깊이 관여했습니다. (2/7)

저희는 최초의 1조 달러 규모 AI 수익이 전체 경제에 광범위하게 분산되기보다는 높은 투자수익률(ROI)로 프론티어 인텔리전스를 배포할 수 있는 섹터에 집중될 것이라고 믿습니다. GDP 점유율 또는 SOC/O*NET 직업군을 기반으로 하는 범용 벤치마크를 구축하는 것은

Opus 5.5나 GPT-6 Astra와 같은 특정 모델들이 안전 분류기(safety classifiers) 때문에 전체 점수를 낮게 책정했다는 점을 강조할 가치가 있습니다. 만약 안전 분류기가 때때로 작동하는 세 가지 도메인, 즉 사이버(cyber), 생물학(biology), 정렬(alignment)을 제외한다면 다음과 같은 결과를 얻을 수 있습니다.

특정 사용 사례에 가장 적합한 모델을 선택할 때 안전 분류기가 얼마나 관련성이 높은지 과소평가되고 있다고 생각합니다. 예를 들어, Muse Wonder Full은 오늘날 의미 있는 격차로 가장 뛰어난 사이버 모델입니다. (5/7)

GDPx에 기여해 주신 데이터 파트너분들께 깊이 감사드립니다.

Arcverex:
@ARCVEREX
Aria:
@ariadata_
@nratliff9
Arithmetic:
@arithmeticlabs1
@uri_rolls
Beautiful Machines:
@btfl_machines
@akarshaurora
Chakra:
@chakra_ai
@27upon2
Datacurve:
@datacurve

전용 웹사이트를 확인해 보세요:
https://gdpx.semianalysis.com
그리고 저희 블로그: (7/7)
https://semianalysis.substack.com/p/gdpx-measuring-frontier-model-capabilities
…