Anthropic은 7월 24일에 Claude Opus 5를 출시했습니다. 모델 출시치고는 포지셔닝이 이례적으로 담백합니다. Anthropic에 따르면, 이 모델은 Claude Fable 5의 프런티어 지능(frontier intelligence)에 근접하면서도 가격은 절반 수준인 일상적인 모델입니다. 가격 책정이 이를 뒷받침합니다. Opus 5의 비용은 입력 토큰 100만 개당 5달러, 출력 토큰 100만 개당 25달러로 Opus 4.8과 동일합니다. 성능은 향상되었지만, 청구 금액은 변하지 않았습니다.

API 모델 ID는 claude-opus-5입니다. 현재 모든 플랫폼과 모든 유료 Claude 플랜에서 사용할 수 있습니다. Claude Max의 새로운 기본 모델이 되며, Claude Pro에서 사용할 수 있는 가장 강력한 모델이 됩니다. Anthropic의 문서에서는 복잡한 에이전트 기반 코딩(agentic coding) 및 기업용 작업에 이 모델을 권장합니다.

이것이 출시 관련 사실들입니다. 코딩 에이전트(coding agents)를 운영하는 누구에게나 더 유용한 질문은 이 모델이 어떤 종류의 모델인가 하는 점이며, 바로 이 지점에서 벤치마크 수치는 이야기의 가장 흥미롭지 않은 부분이 됩니다.

보고된 수치 요약

Anthropic은 Frontier-Bench 및 GDPval-AA를 포함한 코딩 및 지식 작업 평가에서 최첨단(state-of-the-art) 결과를 보고했습니다. CursorBench 3.2의 최대 성능 측정 시, 회사는 작업당 비용은 절반이면서 Fable 5의 정점 성능의 0.5% 이내에 도달했다고 보고했습니다. 또한 ARC-AGI 3 점수가 차순위 모델보다 3배 높다고 보고했으며, Opus 5가 Frontier-Bench에서 Opus 4.8보다 성능이 두 배 이상 높으면서도 작업당 비용은 더 적게 든다고 밝혔습니다.

이 모든 수치는 Anthropic으로부터 나온 것입니다. 아직 독립적인 재현 결과는 없습니다. 이 수치들은 벤더가 자사의 모델에 대해 주장하는 내용이므로, 있는 그대로의 주장으로 취급하십시오. 정직한 해석은 방향성을 제시합니다. 즉, Anthropic은 프런티어에 근접한 능력을 일상적인 가격대로 밀어 넣었다고 믿고 있으며, 그 믿음과 일치하는 수치를 발표했다는 것입니다.

단일 작업 벤치마크가 에이전트 작업을 과소평가하는 이유

여기 제가 중요하다고 생각하는 논거가 있습니다. 벤치마크는 하나의 작업에 대한 하나의 시도를 측정합니다. 에이전트 세션(agent session)은 수십 또는 수백 개의 시도가 사슬처럼 연결되어, 각 단계가 이전 단계의 출력을 소비하는 과정입니다. 그러한 환경에서는 오류 처리(error handling)가 오류율(error rate)을 지배합니다.

만약 어떤 모델이 개별 단계를 95%의 확률로 정확하게 해결하지만 자신의 작업 내용을 전혀 검토하지 않는다고 가정해 봅시다. 30단계의 작업이 진행되는 동안 실수는 누적되고 세션은 조용히 탈선하며, 대개 한 시간 뒤에나 이를 발견하게 됩니다. 이제 모델이 비슷한 비율로 단계를 해결하되, 자신의 출력을 검증하고 무언가 잘못되었을 때 이를 알아차려 다음 단계로 넘어가기 전에 수정한다고 가정해 봅시다. 두 번째 모델은 단일 실행(single-shot) 점수가 동일해 보이더라도 첫 번째 모델이 완수하지 못하는 작업을 끝마칩니다. 검증(Verification)은 복리로 작용하지만, 단순 정확도(Raw accuracy)는 그렇지 않습니다.

이것이 바로 Opus 5 출시 과정에서 나온 행동적 주장들이 리더보드상의 수치보다 더 중대한 이유입니다. Anthropic은 이 모델을 자신의 작업을 검증하고, 신중하게 반복(iterate)하며, 장기적인 다단계(multi-step) 작업에서 더 강력한 모델로 설명합니다. 특히 두 가지 구체적인 행동이 눈에 띕니다.

근본 원인 진단 (Root-cause diagnosis). Anthropic의 설명에 따르면, Opus 5는 증상을 임시로 해결(patching)하기보다 코드를 변경하기 전에 실패의 근본 원인을 찾으려는 경향이 있습니다. 에이전트가 단언문(assertion)을 수정함으로써 실패하는 테스트를

노력(Effort), 속도 및 플랫폼 세부 사항

알아둘 만한 두 가지 운영 조절 장치(operational knobs)가 있습니다.

Opus 5는 노력(effort) 설정을 노출하며, 주요 CursorBench 수치는 최대 노력(max effort) 상태에서 측정되었습니다. 이는 Fable에 근접한 수치가 상한선임을 의미하며, 낮은 노력 수준에서는 비용과 지연 시간(latency)을 위해 품질을 일부 희생해야 할 수도 있습니다. 실제 운영 환경에서 실행할 노력 수준에 맞춰 평가를 계획하십시오. Anthropic의 작업당 비용(cost-per-task) 비교에는 이미 이 점이 반영되어 있습니다. 보고된 CursorBench 결과는 해당 최대 설정에서 Fable의 작업당 비용의 절반 수준입니다.

빠른 모드(Fast mode)는 기본 API 가격의 두 배로 기본 속도보다 약 2.5배 빠르게 실행되며, Claude Code 사용 크레딧을 통해 이용할 수 있습니다. 모델의 응답을 기다려야 하는 대화형 코딩 세션의 경우, 2.5배의 속도를 위해 두 배의 비용을 지불하는 것이 좋은 거래가 될 수 있습니다. 자동화된 배치 작업(unattended batch work)의 경우에는 기본 설정이 명백한 선택입니다.

모델과 함께 Anthropic은 두 가지 베타 플랫폼 업데이트를 출시했습니다. 프롬프트 캐시(prompt cache)를 무효화하지 않고 대화 중간에 도구(tools)를 변경할 수 있으며, 분류기(classifier)로 플래그가 지정된 요청이 실패하는 대신 자동으로 폴백(fall back)될 수 있습니다. 도구의 빈번한 교체(tool churn)는 긴 세션에서 캐시 절감 효과를 낭비하는 흔한 방식이었기 때문에, 캐시 관련 변경 사항은 에이전트 빌더들에게 조용하지만 중요한 의미를 갖습니다.

보고된 안전성 및 정렬(Alignment)

Anthropic은 자동화된 행동 감사(automated behavioral audit) 결과, Opus 5가 최근 모델 중 기만적이고 무모한 행동 비율이 가장 낮아 현재까지 가장 정렬(aligned)이 잘 된 모델임을 확인했다고 밝혔습니다. 보안 측면에서 회사는 이 모델이 취약점을 찾는 능력은 Opus 4.8보다 강력하지만, 익스플로잇 개발(exploit development) 능력은 Mythos 5에 비해 상당히 뒤처져 있으며, 안전장치가 고위험 사용을 차단하고 있다고 보고했습니다. 능력 수치와 마찬가지로 주의할 점이 있습니다. 이는 벤더 자체의 감사 결과이며, 제3자의 검증이 아닌 Anthropic이 무엇을 측정하고 최적화하는지에 대한 신호로 활용하는 것이 유용합니다.

출시 당일이 알려주지 않는 것

출시 첫날의 증거만으로는 확립할 수 없는 몇 가지 사항들이 있습니다. 초기 사용자 보고는 엇갈리고 있으며, 일부 작업에서는 여전히 경쟁 모델이 우세합니다. 그 어떤 출시 모델도 모든 분야에서 승리한 적은 없으며, 이번 모델 또한 그렇게 주장하지 않습니다. 또한 Opus 5는 Anthropic의 한계치(ceiling)가 아닙니다. Fable 5는 라인업 내에서 일반적으로 사용 가능한 가장 높은 성능의 모델로 남아 있으며, Anthropic의 직원들은 Opus 5가 일상적인 업무를 처리하는 동안 Fable은 계획 수립 및 가장 어려운 문제들을 위해 남겨두는 방식으로 역할이 나뉜다고 설명합니다. 그리고 벤더 벤치마크 (vendor benchmarks)는 아무리 주의 깊게 실행되더라도, 해당 벤더가 선택한 작업들만을 측정합니다.

실제로 평가하는 방법

퍼즐 프롬프트 (puzzle prompts)는 건너뛰십시오. 명확한 합격/불합격 기준이 있는, 매주 실행하는 워크플로우 (workflow) 하나를 선택하십시오. 예를 들어, 당신이 수정하는 버그 카테고리, 검토하는 PR (Pull Request) 유형, 혹은 당신이 유지 관리하는 파이프라인 (pipeline) 등이 될 수 있습니다. 일주일 동안 실제 운영 환경의 노력 수준 (production effort setting)에서 Opus 5를 실행하고, 현재 사용 중인 모델과 다음 세 가지 수치를 비교해 보십시오: 출력 품질 (output quality), 개입이 필요했던 빈도, 그리고 총 비용 (total spend).

개입 횟수 (intervention count)가 가장 주목해야 할 지표입니다. 만약 검증 행동 (verification behavior)이 실제라면, 바로 그 지표에서 차이가 나타날 것이며, "절반 가격으로 Fable에 근접함"이라는 말이 당신의 업무에 실제로 적용되는 것인지, 아니면 단지 Anthropic의 평가 세트 (eval suite)에서만 유효한 것인지를 결정하는 숫자가 될 것입니다.

출처

• Anthropic: Introducing Claude Opus 5
• Claude models overview (official docs)
• Official launch thread on X