GPT-6 Astra가 공개되면서, ARC-AGI-3에서 99.9%라는 수치에 놀랐습니다. 발표 페이지에 제시된 GPT-5.6 Sol의 점수는 7.8%입니다. 상당히 큰 차이입니다.
※작성 중 GPT-6.1 Sol이 공개되었습니다. ARC Prize의 검증 결과에서는, GPT-6.1 Sol의 최고값이 Standard Harness에서 52.73%(max)이고, Provider Adapter Harness에서 96.37%(xhigh)입니다. Harness에 대해서는 나중에 설명드리겠습니다.
무언가 대단한 일이라는 것은 알겠지만, 정확히 무엇을 측정하고 있는지 명확하게 이해하지 못했습니다. 그래서 OpenAI의 GPT-6 Astra 발표 페이지에 등장하는 몇 가지 벤치마크를 가져와 과제와 채점 방법을 정리해 보겠습니다.
스코어는 발표표(2026년 9월 14일 확인)와 각 벤치마크 운영처가 공개한 값입니다.
벤치마크는 정해진 과제와 채점 방법으로 성능을 평가하는 것입니다. AI의 경우, 문제에 대한 답변, 컴퓨터 조작, 결과물 작성 등을 평가합니다.
100문제 중 80문제를 맞히면 정답률은 80%이지만, 중간 과정에도 점수를 주는 평가라면 80%가 100건 중 80건을 완료했다는 의미와는 다릅니다.
숫자를 볼 때는 다음 사항들을 확인해야 합니다:
- 과제의 내용과 채점 방법. 정답률, 부분 점수, 실패율 등 어떤 것인지.
- 도구(Tool), 시도 횟수, 제한 시간, 문제 세트나 버전의 조건.
스코어는 해당 과제와 조건에서의 성적입니다. 서로 다른 평가 간의 점수나 평소 업무의 성공률과는 분리해서 읽어야 합니다. 그럼 가장 먼저 눈에 띄었던 ARC-AGI-3부터 살펴보겠습니다.
ARC-AGI-3은 미지의 게임을 조작하면서 규칙이나 목표를 찾아내는 평가입니다. 설명서가 없는 퍼즐 게임에서 버튼을 누른 결과로부터 놀이 방식을 알아내는 이미지를 생각하시면 됩니다.
조작하고, 변화를 확인하며, 다음 행동을 결정하는 이 반복 과정을 통해 문제를 해결합니다. 여기서의 학습은 플레이 중 경험을 다음 판단에 활용하여 모델의 가중치(weight)를 업데이트하는 추가 학습과는 다릅니다.
클리어했는지 여부와 인간의 기준과 비교했을 때 몇 번의 조작이 필요했는지를 RHAE (Relative Human Action Efficiency)라는 지표로 평가합니다.
공식 채점 방법에서는 클리어한 레벨의 기본 점수를 다음 공식으로 계산합니다.
$$ ext{level score} = ext{(human baseline actions / AI actions)}^2 $$
인간의 기준을 10회로 가정하고, AI의 조작 횟수를 변화시켜 보겠습니다.
| 인간의 기준 | AI의 조작 횟수 | 해당 레벨의 기본 점수 |
|---|
| 10회 | 10회 | 100% |
| ... | | |
모두 클리어했지만, 인간의 2배 조작이라면 25%입니다. 클리어까지의 조작이 많을수록 점수는 낮아집니다.
인간의 기준은 해당 레벨을 클리어한 처음 참가자들의 조작 횟수 중앙값입니다. 짝수 명일 경우, 중앙에 있는 두 사람 중 조작 횟수가 많은 쪽을 사용합니다. AI 내부 추론이나 도구 호출 등 환경을 바꾸지 않는 처리는 조작 횟수에 포함되지 않습니다. 따라서 API 비용이나 소요 시간을 측정하는 지표도 아닙니다.
인간보다 적은 조작으로 클리어했더라도, 1 레벨의 점수는 115%가 상한선입니다. 게임의 점수는 레벨별 가중 평균이며, 후반부 레벨일수록 무겁게 배점됩니다. 모든 레벨을 클리어해야 게임 점수가 100%에 도달할 수 있습니다. 각 게임의 점수를 평균한 최종값은 0~100%가 됩니다.
ARC Prize 설명에 따르면, 100%는 모든 게임의 모든 레벨을 클리어하고 인간의 기준과 필적하거나 이를 상회하는 행동 효율성을 달성한 수준입니다. 기준이 중앙값이므로, 모든 사람이 100%를 받을 수 있는 것은 아닙니다. 발표 페이지에서는 인간 테스터의 평균이 48%라고 되어 있습니다.
99.9%는 단순한 정답률이 아닙니다. 미지의 게임을 인간의 기준과 동등하거나 그 이상의 효율로 해결했음을 나타내는 성적입니다.
ARC-AGI-3의 점수는 Harness에 따라 크게 달라집니다. Harness는 모델에게 화면이나 이력을 전달하고 선택된 조작을 실행하는 주변 프로그램입니다. ARC Prize는 2가지 종류의 Harness로 결과를 공개하고 있습니다.
| 하네스 | 게임 중에 가져가는 것 |
|---|
| Standard | 모델이 남긴 메모만. 과거 추론이나 메시지는 폐기함 |
| Provider Adapter | 요청을 넘나드는 추론 상태. 긴 대화는 요약(compaction)하여 처리함 |
OpenAI는 발표 페이지에서 Provider Adapter에 해당하는 자체 하네스를 “responses API harness”라고 부르고 있습니다. OpenAI의 설명에 따르면, 이는 기존 하네스보다 실제 사용 환경에 더 가깝습니다.
ARC Prize 검증 결과(Semi-Private 세트, 각 하네스의 최고치)는 다음과 같습니다.
| 모델 | Standard | Provider Adapter |
|---|
| GPT-6 Astra | 62.7%（max） | 99.9%（high） |
| GPT-5.6 Sol | 7.8%（max） | 공개 안 함 |
발표 페이지에서 비교하는 것은 Sol의 7.8%(Standard)와 Astra의 99.9%(Provider Adapter)입니다. 모델과 하네스 모두가 다른 비교입니다.
표의 값은 각 하네스에서의 최고치이며, Astra의 Standard는 max, Provider Adapter는 high로 추론 설정이 다릅니다. 따라서 표의 62.7%와 99.9%의 차이는 하네스만의 효과가 아닙니다.
추론 설정을 통일하여 비교해 보겠습니다. 동일한 Standard 하네스의 max에서는 Sol이 7.8%, Astra가 62.7%입니다. 이것이 모델 차이에 의한 차이입니다. 동일한 Astra에서 하네스만 변경하면, max에서는 62.7%에서 98.6%로, high에서는 54.8%에서 99.9%로 상승합니다. ARC Prize가 공개하는 다른 추론 설정에서도 Provider Adapter가 35pt 이상 높습니다. 99.9%에는 하네스의 효과도 크게 포함되어 있습니다.
참고로 OpenAI는 Sol을 이 하네스로 구동할 경우 대략 30%에 도달할 것으로 추정하고 있습니다. 이는 실측값은 아닙니다.
여기서는 발표 페이지에 올라온 몇 가지 벤치마크를 다루며 개요를 정리하겠습니다. 먼저 개발 작업과 가까운 코딩 및 터미널 조작 평가입니다.
| 벤치마크 | 어떤 과제를 하는가 | Astra | Sol |
|---|---|---|
| Terminal-Bench 4.0 | 터미널에서 소프트웨어 개발, 시스템 관리, 데이터 처리 등의 과제를 해결함 |
| ... |
Terminal-Bench는 모델이 터미널에서 명령을 실행하여 과제를 해결하는 평가입니다. 소프트웨어 개발, 시스템 관리, 데이터 처리, 모델 학습, 보안 과제가 포함됩니다.
과제별로 검증용 테스트가 있으며, 모든 테스트를 통과했을 경우에만 성공으로 간주합니다. 57.9%는 성공한 과제의 비율(해결률)입니다.
FrontierCode는 Cognition의 벤치마크로, 작성된 변경 사항을 유지보자(maintainer)가 병합할지 여부를 평가합니다. 과제는 OSS의 유지보자 자신이 만들었으며, 테스트 통과 외에도 테스트의 질, 변경 범위, 스타일, 리포지토리 규약에 맞는지도 채점됩니다.
채점 기준에는 충족하지 못하면 병합할 수 없는 필수 기준(blocker)이 있습니다. 발표된 값은 score라는 지표로, 채점 기준별 가중치 합계입니다. 필수 기준을 충족하지 못하면 해당 회차의 스코어에 상한선이 걸립니다.
Main은 전체 150개 태스크 중 어려운 100개 태스크를 선정한 구분입니다. Main이 Extended보다 점수가 낮은 이유는 이 때문입니다.
참고로 OpenAI의 GPT-6 Astra 발표 페이지에는 Astra 값에 각주가 있습니다. Codex 개발자 메시지와 유사한, 관련 리포지토리 지시나 주변 코드, 테스트를 확인하고 관례에 따라 병합 가능한 코드를 작성하도록 유도하는 개발자 메시지를 사용하여 실행했다고 합니다. 각주에서는 이 프롬프트가 평가용으로 최적화되지 않았다고 설명합니다.
| 벤치마크 | 수행 과제 내용 | Astra | Sol |
|---|
| ScreenSpot-Pro | 화면에서 지시된 버튼 등의 위치를 특정하는 것 | 92.7% | 76.9% |
| OSWorld 2.0 (오프라인 세트, 부분 점수) | 여러 앱을 사용하는 긴 작업 수행 | 72.6% | 65.7% |
ScreenSpot-Pro는 CAD나 이미지 편집 소프트웨어, IDE와 같은 전문 소프트웨어의 고해상도 화면에서 지시된 버튼 등의 위치를 맞추는 평가입니다.
OSWorld 2.0은 여러 앱을 사용하는 긴 작업을 평가합니다. 공식 예시로는 이메일 영수증이나 은행 명세서를 대조하여 경비 정산을 신청하는 과제가 있습니다. 작업 중에 도착한 새 이메일에 맞춰 계획을 수정하거나, 정보가 불일치할 경우 사용자에게 확인해야 할 필요가 있습니다.
공개된 점수는 v2026.08.08 기준이며, 인터넷 연결 없이 실행 가능한 82개의 과제(오프라인 세트)의 성적입니다. 72.6%는 부분 점수(partial score)를 포함한 것이며, 모든 과정을 완료한 비율은 아닙니다.
Artificial Analysis Intelligence Index는 추론이나 지식, 코딩 등의 성적을 가중치로 종합합니다. 공개표 v4.1.1에서는 Astra가 61.2점, Sol이 60.9점으로, 정답률이나 IQ와는 다릅니다.
구성이나 가중치는 버전에 따라 변하며, 2026년 9월 조사 시점의 설명 페이지는 v4.3 계열이었습니다. 공개된 점수와 최신 점수는 구분하여 읽어야 합니다.
Astra가 모든 항목에서 최고인 것은 아닙니다. 공개표에서는 Claude Fable 5.1이 이 지수에서 65.7점으로 Astra를 앞지르고 있습니다.
점수 차이가 작을 때는 시도에 따른 편차가 있을 수 있으므로, 순위뿐만 아니라 오차나 조건을 확인하는 것이 좋습니다.
ARC-AGI-3의 99.9%는 인간을 기준으로 한 조작 효율을 포함한 성적이었습니다. Sol의 7.8%와 비교할 때는 하네스(harness)의 차이도 있습니다.
맡기고 싶은 작업에 가까운 평가부터 읽어보고, 채점 방법과 실행 조건을 확인하는 것이 좋을 것 같습니다.
읽어주셔서 감사합니다!
