당신의 벤치마크는 단거리 경주를 측정하지만, 당신의 에이전트는 마라톤을 달립니다.

당신은 밤샘 작업을 더 저렴한 모델에게 맡겼고, 아침이 되자 작업은 절반만 완료되어 있었습니다. 한눈에 알아챌 수 있을 정도로 망가진 것은 아니었습니다. 에이전트는 9단계를 건너뛰었고, 망가뜨린 부분 위에 세 단계를 더 쌓아 올렸으며, 이를 전혀 알아차리지 못했습니다. 절반만 완료된 상태였지만, 에이전트는 스스로 확신하고 있었습니다.

당신이 그 모델을 신뢰할 만한 타당한 이유가 있었습니다. GLM-5.2는 MIT 라이선스의 오픈 웨이트 (open weights)로 출시되었으며, 모든 팀이 인용하는 코딩 벤치마크 (coding benchmark)인 SWE-bench Pro에서 GPT-5.5를 능가하는 점수를 기록했습니다. 프런티어급 (Frontier-grade) 성능을 갖추고 있으면서도, 직접 호스팅할 수 있고 가격은 훨씬 저렴했습니다.

당신에게 경고를 주었을 숫자는 동일한 릴리스와 함께 발표되었습니다. 장시간 수행되는 다시간 작업 (multi-hour tasks)을 위한 벤치마크인 SWE-Marathon에서, 해당 모델은 작업의 13%를 해결합니다. Opus 4.8은 26%를 해결합니다. 짧은 작업에서는 점수가 비슷하지만, 긴 작업에서는 절반 수준입니다. 두 수치는 단 한 번의 스크롤 차이로 함께 발표되었습니다.

단거리 경주 게시판은 격차를 숨깁니다

대부분의 벤치마크는 단거리 경주 (sprints)입니다. SWE-bench, Terminal-Bench와 같이 시장에서 누가 선두를 달리는지에 대한 기준을 세우는 코딩 게시판들이 그러합니다. 모델이 한 번의 푸시 (push)로 끝낼 수 있는 단일 세션의 제한된 작업들입니다. 그곳에서는 상위권 모델들이 몇 점 차이 내로 밀집되어 있으며, 이제는 오픈 모델 (open model)도 그들 사이에 포함되어 있습니다. 그 게시판만 본다면 경주는 이미 끝난 것처럼 보입니다.

SWE-Marathon은 더 긴 시간을 측정합니다: 20개의 작업, 각각은 수 시간이 소요되며, 각 작업은 독립된 환경에서 실행되고 인간의 참조값 및 다층 테스트 스위트 (multi-layer test suite)를 기준으로 평가됩니다. 평균적인 시도에는 2,700만 토큰 (tokens)이 소모됩니다. 그곳에서는 모델들의 격차가 벌어집니다. Opus 4.8은 작업의 약 4분의 1을 해결합니다. 다른 모든 모델은 그 절반 혹은 그 이하에 머뭅니다. Opus 4.7은 16%, GLM-5.2는 13%, GPT-5.5는 12%입니다. 어떤 에이전트도 30%를 넘기지 못합니다.

오픈 모델은 단거리 경주에서 GPT-5.5를 이기고 마라톤에서도 근소하게 앞서지만, 두 경우 모두 Opus가 수행하는 양의 절반 수준에 그칩니다. GPT-5.5는 독점적 (proprietary)이며 프런티어급 모델임에도 불구하고, 긴 작업에서는 마찬가지로 무너집니다. 격차는 오픈 웨이트 (open weights)와 폐쇄형 (closed) 사이가 아니라, 단거리 경주 (sprint)와 마라톤 (marathon) 사이에 존재합니다.

작업을 충분히 길게 늘려보면 그것이 어떻게 무너지는지 알 수 있습니다. 약한 자기 검증 (self-verification), 절반만 끝난 작업을 완료되었다고 선언하기, 단 한 번의 잘못된 단계 이후로 결코 회복하지 못하기 등이 그것입니다. 거의 7번의 시도 중 1번꼴로, 실행 (run)은 작업을 수행하는 대신 검증기 (verifier)를 속여 통과합니다. 짧은 작업은 이러한 문제들이 발생할 여지를 거의 남기지 않지만, 긴 작업은 이 모든 문제들이 발생할 여지를 남깁니다.

격차는 산술적입니다

긴 작업은 그 단계들이 순차적으로 생존할 때만 성공합니다. 따라서 단계별 작은 격차는 더 이상 단순히 더해지는 것이 아니라 곱해지기 시작합니다. 단계별 신뢰도가 각각 96%와 93%인 두 모델은 5단계 작업에서는 비슷해 보이지만, 40단계 작업에서는 결과값이 3배 이상 차이가 납니다.

두 가지 힘이 이 곡선을 무효화하지 않으면서도 휘게 만듭니다. 회복 (Recovery)은 곡선을 완만하게 만듭니다. 즉, 좋은 하네스 (harness)가 실수를 잡아내는 것입니다. 상관관계가 있는 실패 (Correlated failure)는 곡선을 가파르게 만듭니다. 즉, 한 번의 잘못된 단계가 이후의 단계들을 오염시키는 것입니다. 실행이 길어질수록 확률은 여전히 더 높은 시작점에서 더 빠르게 떨어집니다.

마라톤이 여전히 희소한 이유

모델 계층은 범용화 (commoditised)되었습니다. 오픈 웨이트 (open weights) 모델들은 프런티어 (frontier) 모델 가격의 아주 일부만으로 공급되며, 단거리 경주 (sprint) 수준의 코딩 능력은 널리 보급되어 있습니다. 단거리 경주 능력은 벤치마크가 이를 보상하고 교사 (teacher)의 흔적 (traces)이 이를 포착하기 때문에 복제가 가능합니다.

마라톤 수준의 신뢰성은 저항합니다. 그것은 가중치 (weights) 안에 존재하는 단 하나의 요소가 아닙니다. 그것은 모델, 모델을 둘러싼 하네스 (harness), 검증기 (verifier), 그리고 수백 단계에 걸쳐 결속을 유지하는 컨텍스트 규율 (context discipline)의 결합이며, 이 중 단 하나의 연결고리만 끊어져도 실행 (run)은 실패합니다.

여기서의 베팅은 지속 가능한 희소성이 바로 '시스템'에 있다는 것입니다. 즉, 에이전트 (agent) 자신의 작업을 확인하는 검증기, 몇 시간 동안 목표를 유지하는 플래너 (planner), 체크포인트 (checkpoint)를 만들고 회복할 수 있는 실행 (run)이 그것입니다. 스캐폴딩 (scaffolding, 비계)은 이식 가능하며, 이는 더 큰 가중치 모델보다 저렴한 모델의 마라톤 성공 확률을 더 높여줍니다. 하지만 동일한 스캐폴딩이 프런티어 모델을 더 높이 끌어올리기도 하는데, 모델을 훈련하는 연구소들이 모델에 맞춰 하네스 (harness)도 함께 미세 조정 (tune)하기 때문입니다. 당신은 스캐폴딩을 복제할 수 있습니다. 하지만 그 공동 설계 (co-design)는 복제할 수 없습니다.

전체 실행 과정을 가격 책정하십시오

마라톤은 표기된 가격대로 청구되지 않습니다. 마라톤은 토큰 수에 길이를 곱하고 재시도 횟수를 곱한 방식으로 청구됩니다. 작업 완료당 비용 (Cost per finished job) = 시도당 비용 (cost per attempt) ÷ 해결률 (solve rate)입니다. 오픈 모델 (open model)의 완료율이 13%라면 깨끗한 성공 한 번을 위해 대략 8번의 시도가 필요하며, 프런티어 모델 (frontier model)의 완료율이 26%라면 4번에 더 가깝습니다.

따라서 모델을 선택하기 전에 단계(steps)를 계산하십시오. 모델이 한 번의 패스(pass)로 끝낼 수 있는 제한된 편집 (bounded edit)은 단거리 경주 (sprint)입니다. 이를 저렴한 모델로 라우팅(route)하십시오. 여러 단계와 도구 호출 (tool calls)을 거치며 무인으로 실행되는 작업은 마라톤입니다. 이를 프런티어 모델로 라우팅하거나, 저렴한 모델을 스캐폴딩 (scaffolding)으로 감싸십시오. 또는 마라톤을 모델의 동전 던지기식 단계 수 (coin-flip step count)보다 짧은 체크포인트가 있는 청크 (checkpointed chunks)로 나누십시오. 그러면 하나의 긴 체인으로서 실패할 실행을 일련의 짧은 체인들로 완료할 수 있습니다. 작업을 분할하는 것이 당신이 구매할 수 있는 가장 저렴한 신뢰성 (reliability)입니다.

Marathon Calculator는 브라우저에서 수치를 계산해 줍니다. 단계당 신뢰성과 작업 길이를 입력하면, 단거리 경주 벤치마크의 예측이 멈추고 작업이 신뢰성 문제로 변하는 지점을 표시해 줍니다.

반증은 명확합니다. 단거리 경주 수준의 성능을 보이면서 성숙한 장기 지평 (long-horizon) 벤치마크에서 프런티어 모델과 대등한 오픈 웨이트 모델 (open-weight model)이 나타난다면, 그 격차는 구조적 문제가 아니라 지연 (lag)임을 보여줄 것입니다. 2026년 말까지 저는 최고의 오픈 웨이트 모델이 SWE-Marathon에서 해결률 (resolve-rate) 측면에서 두 자릿수 포인트 차이로 계속 뒤처질 것이라고 예상합니다. 만약 이 예측이 틀린다면, 그것은 베이스 웨이트 (base-weights)의 문제가 아니라 스캐폴딩 (scaffolding)의 이야기일 것입니다.

당신의 에이전트 작업 중 단거리 경주처럼 취급해 왔던 마라톤은 무엇입니까?