162개의 AI 벤치마크 격차를 확인하다: 더 큰 문제는 누락된 데이터였다

여섯 개의 최첨단 AI 출시 게시물과 아홉 개의 공개 리더보드를 통해 총 162개의 모델 간 비교(model-vs-model gaps)를 확인할 수 있었습니다.

그중 20개는 명확하게 분리되어 있었습니다.

하지만 저희가 가장 신경 쓰인 부분은 그 결과가 아니었습니다.

더 큰 문제는 공개된 데이터가 질문에 답할 수 없게 만드는 경우가 얼마나 자주 발생하는지였습니다.

여섯 개의 출시 게시물에서 인용된 44개의 격차 중, 11개는 분리되어 있었고, 5개는 그렇지 않았으며, 28개는 공개된 자료만으로는 정직하게 확인할 수 없었습니다.

118쌍의 인접한 리더보드 쌍 중, 9쌍만이 분리되어 있었습니다.

그리고 광범위한 617행의 소스 감사(source audit)를 거치면서, 483개의 비교는 공개된 정보만으로는 정직하게 반복을 고려한 간격(repeat-aware interval)을 제시할 수 없었습니다.

이것이 저희가 발견한 사실입니다.

'벤치마크 점수가 가짜다'라는 것이 아닙니다.

'이 모델들이 비밀리에 동등하다'는 것도 아닙니다.

더 근본적인 문제입니다:

AI 벤치마크 차트는 종종 공개된 증거가 검증할 수 있는 것보다 더 정밀해 보이게 만듭니다.

테스트할 수 없었던 24개의 출시 게시물 비교

Gemini 4 Argon의 출시 자료에는 15개의 관련 비교가 포함되어 있습니다.

하지만 이 중 어느 것도 공개된 데이터로부터 정직한 간격을 뒷받침하지 못합니다.

Mistral Large 4는 추가로 9개를 제공했습니다.

이 역시 마찬가지였습니다.

그 이유는 다양합니다. 반복 실행(repeated runs)에 걸쳐 평균화되었지만 반복 횟수를 공개하지 않았거나, 양쪽에서 서로 다른 하네스(harnesses) 또는 노력 설정(effort settings)을 사용했거나, 쌍별 비교를 재구성하기에 충분한 작업당 결과가 부족했기 때문입니다.

저희는 그 격차를 채우기 위해 정밀도를 조작하지 않았습니다.

따라서 이들은 '확인 불가(not checkable)'로 표시되었습니다.

이 구분은 중요합니다.

'확인 불가'라는 것이 '틀렸다'는 의미는 아닙니다.

이는 결정을 내리는 데 필요한 증거가 공개되지 않았다는 것을 의미합니다.

6.4점의 우위도 여전히 해결되지 않을 수 있다

SWE-bench Multilingual은 이 문제를 쉽게 보여줍니다.

저희 스냅샷에서 상위 두 항목은 다음과 같습니다:

72.7% 대 66.3%.

리더보드를 보면, 6.4점의 우위는 상당히 커 보입니다.

하지만 이 벤치마크에는 300개의 작업이 포함되어 있습니다.

통계적으로 가장 정밀도가 낮은 부분 근처에서, 그 보수적인 해상도는 대략 24개 작업 정도입니다. 이것은 범용적인 기준점(universal cutoff)이 아니라 벤치마크 수준의 참고 지표일 뿐이며, 정확한 간격은 두 점수가 위치하는 곳에 따라 달라집니다.

실제 72.7% 대 66.3% 쌍의 경우, 적용 가능한 구간은 여전히 0을 포함합니다.

해당 벤치마크는 이들 간의 분리를 확립하지 못했습니다.

사실상 해당 리더보드에서 여섯 개의 위치는 적용 가능한 비교 하에 1위와 구별할 수 없습니다.

이것이 그 모델들이 동등하다는 의미는 아닙니다.

그것은 더 좁은 것을 의미합니다:

이 벤치마크는 이 크기, 그리고 이러한 발표된 결과로는 이들을 분리할 수 없다는 것입니다.

우리의 감사 과정에서 자체 결과를 다섯 개 제거함

이 부분이 제가 최종 결과에 더 신뢰를 갖게 된 지점입니다.

우리가 고정했던 첫 번째 검토에서는 21개의 분리된 간격이 나왔습니다.

그런 다음 우리는 모든 비교를 벤치마크의 실제 점수 유형과 출처가 발표한 불확실성 정보와 대조하여 감사했습니다.

원래 '분리되었다'고 판정한 것 중 다섯 개는 이 감사를 통과하지 못했습니다.

더 단순한 처리 하에서는 해결되지 않은 것처럼 보였던 네 개의 간격은 출처 자체의 구간을 사용했을 때 분리되었습니다.

최종 집계:

20개.

수정은 양방향으로 이루어졌습니다.

우리는 고정된 결과를 덮어쓰지 않았습니다. 원래 판정과 감사된 판정이 데이터셋에서 나란히 놓여 있으며, 변경 사유가 기록되었습니다.

왜 162개의 비교가 있지만 617개의 행이 있는가

데이터에는 두 가지 분모가 있으므로 이를 명확히 할 가치가 있습니다.

162개는 이 분석의 헤드라인 비교 항목입니다:

• 44개의 출시 후 간격(launch-post gaps)
• 118개의 인접 리더보드 쌍(adjacent leaderboard pairs)

더 광범위한 출처 감사는 617개의 비교 행을 포함하며, 여기에는 162개 헤드라인 개수에 포함되지 않은 노력 곡선 대비 분석 부록이 포함되어 있습니다.

그 617개 행 중 483개는 발표된 정보로부터 정직한 반복 인지 구간(repeat-aware interval)을 지원하지 못합니다.

이 결과는 20/162 헤드라인보다 우리를 더 놀라게 했습니다.

재현성 문제(replication problem)는 종종 통계적 유의성을 갖기 전에 시작됩니다.

그것은 아예 불확실성을 계산할 만큼 충분한 정보가 발표되었는지 여부에서 시작됩니다.

우리가 실제로 한 일

분석 방법론은 벤치마크 점수를 검사하기 전에 고정되고 해시되었습니다.

해석 가능한 이진 벤치마크 비율을 알려진 질문 수로 사용할 경우, 우리는 Wilson 95% 구간과 차이에 대한 Newcombe 하이브리드 Wilson 구간을 사용합니다.

각 작업별로 유효한 쌍 데이터가 존재하는 경우에는, 쌍 비교 증거(paired evidence)가 우선권을 가집니다.

출처에서 적절한 반복 실행 불확실성(repeated-run uncertainty)을 게시하는 경우, 그 증거는 반복 실행이 추가적인 독립 벤치마크 질문인 것처럼 가정하는 것보다 우선합니다.

필요한 정보가 누락된 경우, 답변은 추측하지 않습니다.

대신 다음과 같이 표시됩니다:

게시된 데이터로는 계산 불가(not calculable from published data).

이 저장소는 고정된 방법론, 출처 해시(source hashes), 비교별 결과, 그리고 후속 점수 유형 감사 기록을 보존합니다.

이것이 증명하지 않는 것들

이는 구간이 겹치는 두 모델의 능력이 같다는 것을 증명하지 않습니다.

분리된 판정이 없는 모든 비교가 거짓이라는 것을 증명하지 않습니다.

벤치마크 샘플링 노이즈(benchmark sampling noise)가 AI 평가의 모든 불확실성 원인을 포착한다는 것을 증명하지 않습니다.

그리고 확실히 귀하의 워크로드에 어떤 모델이 더 잘 작동할지 알려주지도 않습니다.

이는 의도적으로 좁은 질문 하나에 답합니다:

누군가 두 개의 벤치마크 점수를 나란히 두고 하나가 더 높다고 주장할 때, 게시된 증거가 그 격차가 우리가 실제로 계산할 수 있는 불확실성보다 큰지 확립하는가?

이 162개 비교에 대해 답은 '예'였습니다. 총 20번입니다.

직접 재현해 보기

전체 설명 및 표:

[https://driftproofhq.com/leaderboard-noise/]

모든 617개 행, 고정된 방법론, 출처(provenance) 및 해시:

[https://github.com/driftproofhq/ranknoise]

그리고 만약 우리의 해석을 완전히 무시하고 직접 격차를 확인하고 싶다면:

[https://driftproofhq.com/benchmark-gap/]

두 점수와 벤치마크 질문 수를 입력하세요. 구간을 반환하며, 백분율 포인트만 표시하는 대신 질문 수로 차이를 표현합니다.

저는 이 방법론에서 파생된 오픈소스 평가 도구인 Driftproof를 유지하고 있습니다.

Claude Code를 사용하여 분석 파이프라인을 구축하고 실행했으며, 여기에는 간격 계산 구현, 소스 추출, 감사 확인(audit checks), 그리고 고정된 방법론에 대한 재현 가능한 결과 생성이 포함되었습니다.

데이터, 계산기, 그리고 방법론은 모두 공개되어 있습니다.

실제로 이 벤치마크 테이블을 사용하여 모델을 선택하는 분들께 질문이 하나 있습니다:

반복 실행이나 작업별(per-task) 결과를 보지 않고도 Model A가 Model B보다 우수하다는 증거로 개인적으로 받아들일 수 있는 가장 작은 벤치마크 격차는 무엇입니까?