본 기사는 「AI 실험 리포트 Vol.0 (Claude Opus 4.8 と Dynamic Workflows)」의 부교재(용어집) 도해·완전판입니다. 본문에 등장하는 벤치마크(Benchmark) 명칭이나 에이전트(Agent) 용어를 그림과 함께, 비전문가도 따라갈 수 있도록 정리했습니다. 정의는 「대략적으로 이해하는 것」을 우선으로 합니다. 정확한 사양은 각 공식 문서(System Card 등)를 참조해 주십시오.

새로운 AI 모델 기사에는 SWE-bench Pro나 GDPval, Dynamic Workflows와 같이 생소한 단어들이 한꺼번에 등장합니다. 본고에서는 그것들을 「무엇을 측정하는가/의미하는가」 + 「본문에서의 수치」를 세트로 하여 도해와 함께 나열했습니다. 위에서부터 읽을 필요는 없으며, 관심 있는 용어만 골라 보시기 바랍니다.

먼저, 본고에 등장하는 벤치마크를 「무엇을 측정하는가」에 따라 5가지로 나누어 조망합니다. 개별 정의는 이후 각 섹션에 있습니다.

그림 2. Claude Opus의 출시 계보 (4.7→4.8은 불과 41일)

각 벤치마크의 실제 수치 (Opus 4.7 / 4.8 / 타사)를 정리하면 다음과 같습니다. '연한 색'은 4.8이 1위가 아닌 항목입니다.

table1_summary (4).png

그림 3. 주요 벤치마크 비교 (Claude Opus 4.7 vs 4.8)

본고의 「신뢰성」과 Dynamic Workflows는 사실 같은 목적——AI의 과신을 어떻게 억제할 것인가——에 대한, 층을 달리한 답변으로 읽을 수 있습니다.

fig4_two_layers.png

그림 5. 과신을 억제하는 이층 구조 (모델 단독의 정직함 × 복수 에이전트의 상호 반증)

용어를 이해하면 벤치마크 표는 「어디가 정말로 성장했는가」를 읽는 도구가 됩니다. 본편 Vol.0에서는 이 용어를 바탕으로 능력·신뢰성·비용의 3축으로 Claude Opus 4.8을 정리하고 있습니다. 함께 확인해 보시기 바랍니다.

• Anthropic 「Introducing Claude Opus 4.8」: https://www.anthropic.com/news/claude-opus-4-8
• OpenAI 「GDPval」: https://openai.com/index/gdpval/
• Artificial Analysis 「GDPval-AA Leaderboard」: https://artificialanalysis.ai/evaluations/gdpval-aa