원문은 TierUp 블로그에 게시되었습니다. SWE-bench Pro, Terminal-Bench 2.1, 그리고 GPQA Diamond에 대한 현장 가이드 — 무엇을 측정하며 어디에서 한계가 드러나는가.

2026년의 모든 모델 출시는 동일한 결과물과 함께 출시됩니다. 바로 새 모델의 막대가 가장 높게 표시된 막대 그래프입니다. 그 차트에 있는 벤치마크(benchmarks)들은 대부분 훌륭하며, 2년 전보다 더 나은 수준입니다. 하지만 각 벤치마크에는 마케팅 문구에서 언급하지 않는 실패 모드(failure modes)가 존재합니다. 여기 그 현장 가이드를 소개합니다.

SWE-bench Pro: 코딩 벤치마크를 대체한 코딩 벤치마크

SWE-bench Verified는 과거 코딩 분야의 대표적인 지표였습니다. 하지만 이제 프런티어(frontier) 모델 단계에서는 사실상 은퇴했습니다. OpenAI는 이 지표를 통한 평가를 공개적으로 중단했으며, 감사 결과 프런티어 모델 간의 학습 데이터 중복(training-data overlap)과 결함이 있는 테스트가 포함된 어려운 과제의 높은 비중이 발견되었다고 알려졌습니다. 모든 모델이 이미 암기했을지도 모르는 문제에서 70% 이상의 점수를 기록할 때, 그 수치는 더 이상 아무런 의미가 없습니다.

Scale의 SWE-bench Pro가 그 대체제입니다. 이는 Python, Go, TypeScript, JavaScript를 사용하는 41개 저장소(repositories)에 걸친 1,865개의 실제 이슈-패치(issue-to-patch) 과제로 구성되며, 공개(public, 731개), 홀드아웃(held-out, 858개), 상업용(commercial, 276개) 세트로 나뉩니다. 오염(Contamination) 문제는 구조적으로 대응합니다. 과제들은 모델 학습자들이 법적으로 수집할 수 없는 강력한 카피레프트(copyleft) 코드베이스와 완전히 비공개인 상업용 저장소에서 가져옵니다. 이 재설정 과정은 혹독했습니다. 출시 당시 Claude Opus 4.1과 GPT-5는 Verified에서 70% 이상의 점수를 기록했던 것과 달리, 여기서는 약 23%를 기록했습니다. 현재는 Claude Opus 4.8이 69.2%로 선두를 달리고 있으며, Z.ai의 오픈 웨이트(open-weight) 모델인 GLM-5.2가 62.1%를 기록하고 있습니다.

주의 사항: 업체가 어떤 _하위 집합(subset)_을 인용하는지 주의 깊게 살펴보십시오. 출시 당시 GPT-5는 공개 세트(public set)에서 23.1%를 기록했지만, 상업용 세트(commercial set)에서는 14.9%를 기록했습니다. 동일한 모델, 동일한 벤치마크 이름임에도 불구하고 의미 있는 차이가 나는 수치입니다.

Terminal-Bench 2.1: 실제 셸(shell) 환경에서의 에이전트

Terminal-Bench 2.1은 에이전트를 컨테이너화된 터미널 환경에 투입합니다. 프로젝트 컴파일, 모델 학습, 서버 설정과 같이 사람이 직접 작성한 89개의 어려운 과제를 수행하며, 자동화된 테스트를 통해 최종 상태를 확인합니다. 이는 "이 모델이 실제로 컴퓨터를 무인 상태에서 조작할 수 있는가"를 측정할 수 있는 현재 우리가 가진 가장 좋은 공개적인 대리 지표 (proxy)입니다. 현재 최고 점수: Claude Fable 5가 88.0%, GPT-5.5가 약 83~84%를 기록하고 있습니다.

두 가지 주의사항이 있습니다. 첫째, 버전 변화 (version churn)입니다. 2.1 버전은 2.0 버전보다 더 어렵기 때문에 버전 간의 점수를 직접 비교할 수 없습니다. 즉, 버전 사이에 점수가 "하락"한 모델이 실제로는 더 발전했을 수도 있습니다. 둘째, 하네스 민감도 (harness sensitivity)입니다. Terminal-Bench는 _모델과 에이전트 스캐폴드 (agent scaffold)_를 함께 측정하며, 동일한 모델이라도 어떤 하네스를 사용하느냐에 따라 다른 수치가 나타납니다. Z.ai의 GLM-5.2 발표에서는 GPT-5.5를 84.0%로 기재했으나, 독립적인 리더보드에서는 83.4%로 기록되어 있습니다. 여기서는 격차가 작지만, 스캐폴드 선택에 따라 다른 결과들은 훨씬 더 크게 요동쳤습니다. 항상 질문하십시오: 누구의 하네스인가?

GPQA Diamond: 포화 상태이며, 상위권에서 노이즈가 발생함

GPQA Diamond는 생물학, 물리학, 화학 분야의 198개 박사급 객관식 질문으로 구성되어 있습니다. 박사 학위를 가진 전문가들이 약 69.7%의 점수를 기록할 정도로 충분히 어렵습니다. 2024년에는 훌륭한 차별화 요소였습니다. 하지만 2026년에는 최첨단 모델들이 91~94% 구간에 밀집해 있으며 (Gemini 3.1 Pro ~94.3%, Claude Opus 4.7/4.8 94.2/93.6%), 이것이 바로 문제입니다. 198개의 질문 중 한 문제는 0.5점에 해당하며, Epoch AI의 실행 결과에는 ±2%의 오차 범위와 서식 관련 채점 노이즈가 포함됩니다. GPQA Diamond에서 0.7점 차이로 앞서는 것은 통계적으로 무승부와 구별할 수 없습니다. 상위 모델들이 이제 9899%를 기록하는 AIME 스타일의 수학 문제도 마찬가지입니다.

2026년 출시 차트가 GPQA나 AIME를 앞세운다면, 그것은 하나의 신호입니다. 즉, 흥미로운 벤치마크들이 모델에게 유리한 결과를 보여주지 못했다는 뜻입니다.

후속 벤치마크들 또한 깨끗하지 않다

Humanity's Last Exam (HLE)이 존재하는 이유는 바로 위의 모든 지표들이 포화 상태에 도달했기 때문입니다. 최첨단 모델(frontier models)들이 약 90%인 인간 전문가 기준점(baseline)에 비해 35~40% 정도에 머물러 있어, 아직 개선의 여지(headroom)가 남아 있습니다. 하지만 품질 관리(quality control)는 불안정합니다. 한 분석에 따르면 화학/생물학 참조 답변의 약 30%가 틀렸을 가능성이 높다고 추정하며, 벤더(vendor)가 인용하는 많은 HLE 점수들은 공식 리더보드(leaderboard)에 등재되지도 않습니다. 최신이라고 해서 자동으로 더 깨끗한 것은 아닙니다.

차트를 실제로 읽는 방법

1. 포화 상태를 확인하세요. 선두 모델들이 90% 이상에 밀집해 있는 벤치마크는 성능(capability)이 아닌 노이즈(noise)를 나타냅니다.
2. 오염 설계(contamination design)를 확인하세요. 정적인 공개 데이터셋(static public sets)보다는 홀드아웃(held-out) 또는 비공개 분할(private splits)을 사용하는 벤치마크(예: SWE-bench Pro)를 선호하세요.
3. 하네스(harness)와 서브셋(subset)을 확인하세요. 벤더가 운영하는 에이전트 점수(agentic scores)는 벤더가 선택한 분할 데이터셋에 대한 모델과 스캐폴드(scaffold)의 결합 점수입니다. 독립적인 리더보드 수치를 찾으세요.
4. 단일 숫자를 완전히 불신하세요. GLM-5.2는 SWE-bench Pro에서는 GPT-5.5를 이기지만, Terminal-Bench 2.1에서는 패배합니다. 어느 숫자도 단독으로는 어떤 모델을 배포해야 할지 알려주지 않습니다. 여러분의 워크로드(workload)가 어떤 벤치마크가 관련이 있는지를 결정합니다.

불편한 결론: 이제 "어떤 모델이 최고인가"라는 질문은 진정으로 작업(task)에 따라 달라지며, 매 출시 주마다 그 질문을 다시 논쟁하는 것 자체가 하나의 직업이 될 정도입니다. 여러분이 그저 티어(tier)를 선택하기만 하면 되도록, 그것이 바로 저희 TierUp이 하는 일입니다.

Sources

• Scale AI — SWE-Bench Pro: 에이전트 기반 코딩(Agentic Coding)의 기준을 높이다
• Scale — SWE-bench Pro 공개 리더보드 (public leaderboard)
• OpenAI — 왜 SWE-bench Verified가 더 이상 최첨단(frontier) 코딩 능력을 측정하지 못하는가
• Kili Technology — 2026년 AI 벤치마크: 주요 평가 지표와 그 한계
• CodingFleet — Terminal-Bench 2.1 리더보드 (2026)
• Epoch AI — GPQA Diamond
• IntuitionLabs — GPQA-Diamond 벤치마크: 점수 및 리더보드
• Z.ai — GLM-5.2: 장기적 과업(Long-Horizon Tasks)을 위해 구축됨
• Wikipedia — Humanity's Last Exam