60%의 한계: AI 에이전트가 자신의 다음 움직임을 판단하는 방식에 대한 문제점

2026년 10월 18일 — agents/benchmarks

당신의 코딩 에이전트가 200단계 작업을 완료했습니다. 모든 테스트를 통과했습니다. 이것은 성공이라고 부를 수 있습니다. 하지만 만약 그 과정에서 에이전트가 오늘날에는 작동하지만 다음 달에 당신을 파산시킬 '멍청한 길'을 택했다면 어떨까요? Microsoft와 City University of Hong Kong이 2026년 10월 18일에 발표한 새로운 벤치마크는 바로 이 질문을 던집니다. 그리고 그 답은 에이전트에게 장기적인 작업을 맡기는 모든 사람들을 걱정하게 만듭니다. 최고의 모델조차도 이진 선택지에서 단지 59.7%의 확률로 더 나은 경로를 선택할 뿐입니다. 동전 던지기에 간신히 못 미치는 수준입니다.

대부분의 에이전트 벤치마크는 하나의 질문을 합니다. 과제가 완료되었는가? SWE-bench는 "패치가 테스트를 통과했는가?"라고 말합니다. MirrorCode는 에이전트가 단일 작업에 대해 19일 연속으로 실행되는 것을 기록하고 완료된 건수를 계산할 뿐입니다. 이는 그 중간 과정의 모든 것을 놓치고 있습니다.

실제 에이전트가 실행 도중 직면하는 구체적인 선택을 고려해 봅시다. 모델을 훈련하던 중 갈림길에 부딪혔다고 가정합니다:

• 경로 A: 모델 크기 축소, 더 많은 단계 훈련 → 최종 손실 6.56 ✓
• 경로 B: 모델 크기 유지, 적은 단계 훈련 → 최종 손실 7.66 ✗

갈림길에서 두 경로 모두 그럴듯해 보입니다. 지금까지 수행된 단계 중 어느 것도 어떤 경로가 더 나은지 알려주지 않습니다. 잘못된 선택은 현재의 컴퓨팅 자원과 영구적인 품질을 비용으로 지불하게 만듭니다. 이것이 논문 저자들이 **"취향(taste)"**이라고 부르는 것입니다. 즉, 지금 당장 그럴듯해 보이는 옵션보다는 나중에 보상을 가져다줄 옵션을 선택하는 판단력입니다.

쉽게 설명하자면 이렇습니다: 적절한 40수짜리 게임을 할 수는 있지만, 포지션이 이미 패배로 기울기 전까지는 좋은 중반 계획과 나쁜 중반 계획을 구별할 수 없는 체스 엔진을 상상해 보세요. 여전히 약한 상대에게는 승리할 것입니다. 하지만 당신의 퀸을 맡길 정도로는 신뢰하지 못할 것입니다.

중간 단계의 모든 결정을 사람이 직접 평가하려면, 모든 갈림길마다 도메인 전문가가 필요합니다. 이는 비용이 많이 들고 확장성이 떨어집니다. 연구자들의 트릭은 다음과 같습니다: 사후적 통찰(hindsight)은 무료 평가자입니다.

결정 분기(decision fork)를 이용한 에이전트 시스템 테스트 방식과 성능 한계

에이전트 시스템은 일반적으로 동일한 작업을 여러 번 시도하며, 이 시도들은 각기 다른 방향으로 나뉩니다. 최종 결과가 어느 경로가 작동했는지 보여주기 때문에, 각 분기는 준비된 테스트 질문이 됩니다. 저자들은 이를 **결정 분기(decision fork)**라고 부릅니다. 모델을 테스트하기 위해 그들은 다음 과정을 수행합니다:

1. 분기 지점까지의 실제 에이전트 궤적(trajectory)을 가져옵니다.
2. 분기 지점 이후의 모든 것을 숨깁니다.
3. 모델에게 질문합니다: 어느 경로가 더 나았습니까?

여기에는 두 가지 분기 유형이 있으며, 각각 다른 실패 사례를 테스트합니다:

• 병렬 분기(Parallel forks) (두 개의 독립적인 시도가 갈라짐): "어떤 시도가 더 좋은 궤도에 있었나요?"
• 우회 분기(Detour forks) (하나의 에이전트가 잘못된 경로를 갔다가 같은 실행 내에서 스스로 수정함): "혹시 그 실수를 저지른 에이전트보다 더 일찍 알아챌 수 있었을까요?"

데이터셋인 Taste-Bench는 SWE-bench Pro 및 METR의 공개 트랜스크립트 릴리스를 포함하여 코딩 및 AI 연구 작업에 대한 수천 개의 점수화된 에이전트 실행을 기반으로 구축된 502개의 질문을 담고 있습니다. 생성 모델은 사소하거나 결정할 수 없는 분기들을 걸러냈으며, 인간 검토자들은 거의 모든 자동 생성 레이블을 확인했습니다.

A decision fork: two paths split from one history, judged only by where they end

운 좋은 추측을 막기 위해, 모든 질문은 답안 순서를 뒤집어 두 번씩 출제됩니다. 모델이 두 번 모두 정답일 경우에만 점수를 인정합니다. 순수한 추측으로는 **25%**에 머무릅니다.

3. 최신 기술 수준: 60%의 천장, 그리고 왜 더 많은 사고가 해결책이 아닌지

팀은 Claude, GPT, Grok, DeepSeek, GLM, MiniMax, Mistral 계열의 14개 현재 모델을 테스트했습니다. 결과는 다음과 같습니다:

• GPT-5.6 Sol: 59.7% — 이진 선택 테스트에서 세계 최고 수준입니다.
• GPT-5.5: 59.5%
• 나머지 모든 모델은 그보다 훨씬 낮은 점수를 기록했습니다. 어느 것도 이를 해결하는 데 근접하지 못했습니다.

Taste-Bench accuracy: best model barely clears 60% on binary choices

두 가지 발견이 깊은 인상을 남겼습니다:

증거가 늦을수록 판단도 나빠진다. 연구진은 각 분기(fork)마다 더 좋은 경로가 눈에 보이려면 얼마나 앞서 생각해야 하는지 측정했습니다. 단서가 이미 이전 단계에 있을 경우, 14개 모델의 평균 점수는 **62.3%**를 기록합니다. 하지만 단서가 광범위한 후속 작업 후에야 나타날 경우, 정확도는 **21.0%**로 급락하며 이는 무작위 추측보다도 낮은 수치입니다. 이러한 문제를 맞히려면 과거를 분석하는 것이 아니라 미래의 작업을 예측해야 합니다.

생각을 많이 한다고 도움이 되지 않는다. 추론 예산(reasoning budget)을 낮음에서 높음으로 변경해도 점수 변화는 미미했습니다. 더욱이, 모델들은 가장 어려운 단계—가장 오랫동안 생각했던 질문들—에 가장 많은 추론 토큰을 소모했습니다. 필요한 단서가 아직 없는 경우, 더 많은 숙고는 그저 값비싼 노이즈일 뿐입니다.

The later the evidence, the worse the judgment — and more thinking doesn't help

우회 경로(Detour forks)는 모든 모델에서 병렬 경로보다 일관되게 어려웠습니다: 다른 사람의 실수를 초기에 발견하는 것이 두 가지 시도를 비교하는 것보다 더 어렵다는 의미입니다.

이것은 종단 간 벤치마크(end-to-end benchmarks)가 측정하는 것과는 다른 기술입니다. SWE-bench Verified 점수가 비슷한 모델들은 Taste-Bench에서 명확한 격차를 보였습니다. 그리고 METR에서도 이를 뒷받침하는 증거가 있습니다: 전문가들은 기본적인 기능 버그에 대해 많은

Companion notebook: 본 게시물의 실행 가능한 튜토리얼입니다 — 여기에서 다운로드 (Colab/Jupyter에서 열기).