“2026–2027년까지 AI 에이전트가 거의 모든 직업에서 인간을 능가할 것이다.” - 이 예측은 어디에나 있습니다.
그래서 우리는 실제 노동 시장과 정렬된 업무를 통해 그 주장을 테스트할 시험을 만들었습니다. 가장 어려운 티어(tier)에서 상위 에이전트의 통과율은 2.6%에 불과합니다.
에이전트가 실제로 실제 업무를 수행할 수 있는지 측정하는 순환형 벤치마크(benchmark)인 Agents' Last Exam (ALE)를 소개합니다.

1/ 작업(task)은 어디에서 오는가?

모든 작업은 인간 전문가가 이미 완료하여 출시한 실제 프로젝트이며, 이를 코드 채점 방식의 테스트로 변환했습니다.

단순한 느낌(vibes)이나 인간 심사위원 없이, 완전히 재현 가능합니다. 55개의 비물리적 산업 분야를 아우르며, O*NET / SOC 2018(미국 연방 직업 분류)에 기반을 두고 있습니다.

2/ 어떤 에이전트가 선두를 달리고 있는가?

현재 포디움(podium) (harness + 플래그십 모델):
Codex (gpt-5-5)
Cursor (composer-2-5)
Claude Code (opus-4-8)

자세한 내용은 다음에서 확인하세요:
https://agents-last-exam.org/leaderboard

리더보드(leaderboard)를 넘어, 상위 성능을 내는 에이전트들이 어디에서 다르게 수행하는지? 전체 분석이 곧 공개됩니다.

3/ ALE는 기존 에이전트 벤치마크와 어떻게 비교되는가?

오늘날의 에이전트 벤치마크는 빠르게 포화되고 있습니다. ALE는 지도의 다른 영역에 위치합니다:

• 55개 산업 도메인(domain)
• 1,500개 이상의 작업(task)
• GUI와 CLI를 모두 아우르는 작업

최상위 에이전트의 전체 통과율은 단 26%이며, 상위 티어는 2.6%에 불과합니다.

4/ 왜 이를 "Last Exam(마지막 시험)"이라고 부르는가?

에이전트가 ALE를 포화시키는 날이 바로 그들이 실제로 실제 산업을 구동할 수 있는 날이기 때문입니다.

그날은 오늘이 아닙니다. 하지만 측정하고 최적화할 가치가 있는 날입니다.

5/ 우리는 어떤 종류의 에이전트에 집중하는가?

우리는 범용 컴퓨터 사용 에이전트(Generalist Computer-Use Agent, GCUA)에게 전체 접근 권한, GUI 및 CLI를 제공합니다. 우리는 에이전트가 작업을 해결하는 방식을 제한하지 않습니다.
인간이 컴퓨터에서 할 수 있는 것이라면 무엇이든 에이전트는 자유롭게 할 수 있습니다: 클릭, 타이핑, 스크립트 작성, 브라우징, 자동화.

그것은

6/ ALE에서 당신의 에이전트를 테스트해 보세요 →
웹사이트:
http://agents-last-exam.org
작업 샘플:
http://agents-last-exam.org/demo
논문:
https://arxiv.org/abs/2606.05405
HuggingFace:
https://huggingface.co/datasets/agents-last-exam/agents-last-exam
…
코드:
http://github.com/rdi-berkeley/agents-last-exam
…