Anthropic은 7월 24일에 Claude Opus 5를 출시했습니다. 하루 만에 Hacker News에서 1,500개 이상의 추천(points)과 866개의 댓글을 기록했는데, 이는 그 주에 있었던 그다음으로 큰 뉴스보다 3배 이상 많은 수치입니다. 현재 Artificial Analysis Intelligence Leaderboard에서 1위를 차지하고 있습니다. 보도 자료는 다른 프론티어 모델 (frontier model) 출시와 마찬가지로 더 큰 숫자, 더 나은 벤치마크 (benchmarks), 모든 면에서 "프론티어급 (frontier-class)"이라는 내용으로 가득합니다.

보도 자료는 건너뛰십시오. 실제 신호 (signal)가 있는 곳은 댓글 섹션이며, 이곳이 출시 게시물보다 훨씬 더 흥미롭습니다.

수치 요약

• 96.0% (SWE-bench Verified 기준), 79.2% (SWE-bench Pro 기준)
• 최대 노력 (max effort) 시 FrontierBench v0.1에서 43.3% — Opus 4.8의 두 배 이상
• ARC-AGI-3에서 30.2%, 차순위 모델의 약 3배
• SWE-bench Multimodal 점수가 38.4%에서 59.4%로 급증
• Opus 4.8과 동일한 가격: 입력 100만 토큰당 $5, 출력 100만 토큰당 $25, Fast Mode는 약 2.5배 빠른 속도로 2배의 가격 책정
• 최근 Anthropic 모델 중 가장 낮은 "정렬되지 않은 행동 (misaligned behavior)" 점수 (2.3)

이것들은 실질적인 향상입니다. 단 한 번의 릴리스로 FrontierBench 점수를 두 배로 높이는 것은 단순한 오차 범위가 아닙니다. 하지만 아무도 논쟁하지 않는 숫자는 가격이며, 모두가 논쟁하고 있는 숫자는 특정 노력 수준에서의 달러당 가치 (value per dollar at a given effort level) 입니다. 그리고 바로 이 지점에서 재미있는 이야기가 시작됩니다.

실제 혁신: 이제 노력(effort)은 모델 이름이 아니라 조절 가능한 다이얼입니다

헤드라인을 장식할 핵심 기능은 벤치마크 점수가 아닙니다. Opus 5는 비용/품질의 트레이드오프 (tradeoff)를 위해 다른 모델 이름을 선택하도록 강요하는 대신, 노력을 low / high / xhigh / max와 같이 조정 가능한 노브 (knob)로 노출했다는 점입니다.

response = client.messages.create(
    model="claude-opus-5",
    effort="high",  # low | high | xhigh | max
...

이것이 올바른 추상화 (abstraction)입니다. "이것은 저렴하고 빠르게"와

가장 상단의 댓글 스레드는 "와, 대단하다"가 아닙니다. 그것은 가격 감사 (pricing audit)입니다. 한 댓글 작성자는 노력 단계 (effort tiers)별로 계산을 수행했고, 비교 결과가 출시 게시물에서 암시하는 것만큼 깔끔하지 않다는 것을 발견했습니다:

"Opus 5.0 'max'는 $2.03입니다. Opus 5.0 'high'는 ... $1.06로, 이에 상응하는 Opus 4.8의 성능을 내는 데 드는 $1.80보다 저렴합니다."

즉, Anthropic 자체의 노력 단계들이 비용/성능 측면에서 서로 겹치고 있어 모델 간의 비교를 실제로 명확하게 규정하기 어렵다는 뜻입니다. 이는 경쟁 모델을 고려하기 _전_의 이야기입니다. 또 다른 스레드에서는 GPT-5.6을 대상으로 동일한 분석을 진행했습니다:

GPT-5.6 Sol Max는 61점을 기록한 Opus 5 Max 비용의 약 절반 수준으로, 지능 지수 (intelligence index)에서 59점을 기록했습니다.

2배의 가격을 지불하고 얻는 2점 차이의 지능 지수 우위는 리더보드 스크린샷이 암시하는 것처럼 압도적인 승리 (slam dunk)가 아닙니다. 만약 당신이 프로덕션 트래픽을 어디로 라우팅할지 결정하는 엔지니어링 리드라면, "우리가 1위다"라는 말은 고려 대상이 아닙니다. 대신 '해결된 작업당 비용 (cost-per-solved-task)'이 고려 대상이며, 그 수치는 당신이 실제로 기꺼이 지불하고자 하는 노력 단계가 무엇인지에 따라 전적으로 달라집니다.

시스템 카드에 아무도 기재하지 않은 가드레일 세금 (guardrail tax)

두 번째로 반복되는 불만이자, 보안 관련 업무를 수행하고 있다면 더 걱정해야 할 부분은 다음과 같습니다. 여러 댓글 작성자들이 코드 감사 (code audits), 보안 연구, 생물/화학 관련 질의 등 정당한 업무 수행 중에 Opus 5가 더 약하거나 안전한 동작으로 회귀 (falling back)한다고 보고했습니다. 한 보안 연구원은 "코드 감사를 할 때 가드레일에 계속 걸린다"라고 말했는데, 이는 어떤 벤치마크 표에도 나타나지 않는 실제적인 생산성 비용입니다. 시스템 카드 (system card)는 이것이 피해망상이 아님을 확인해 줍니다. Opus 5는 의도적으로 Opus 4.8보다 "더 강력한 사이버 작업 제한 (stronger cyber task restrictions)"을 가지고 있습니다.

만약 당신의 워크로드가 Anthropic의 안전 분류기 (safety classifier)가 민감하게 반응하는 어떤 부분이라도 건드린다면, 작업이 중단될 시간을 예산에 반영해 두어야 합니다. 이것은 안전을 위한 선택을 비난하는 것이 아닙니다. 당신의 에이전트의 업무에 취약점을 탐색하는 일이 포함되어 있다면, "프런티어급 에이전트 코딩 (frontier-class agentic coding)"에는 별표(*)가 붙는다는 경고입니다.

스레드에서 가장 인상적인 문구

"사장님, 저 지쳤어요 (I'm tired boss)."

모델이 나쁘다는 것에 대한 비꼬는 표현이 아닙니다. 이는 또 다른 "역대 최대의 도약"이라 불리는 출시 주기를 지켜보며, 모델의 성능이 아닌 그 속도에 피로감을 느끼는 개발자들의 정서입니다. 이 점은 깊이 생각해 볼 가치가 있습니다. 산업의 속도가 이제 너무 빨라져서 "세계 최고의 모델"의 유효 기간은 몇 주 단위로 측정됩니다. 이제 병목 현상은 모델이 아니라, 이 모델들을 활용해 코드를 배포하는 인간입니다.

전환해야 할까요?

• 순수 코딩/에이전트형 (agentic) 워크로드, 비용에 민감하지 않은 경우: 네, Opus 5를 high 또는 xhigh 설정으로 사용하는 것은 4.8에 비해 확실한 업그레이드입니다. 특히 장기적 계획 (long-horizon)이 필요하거나 멀티모달 (multimodal) 작업인 경우 더욱 그렇습니다.
• 비용에 민감한 프로덕션 트래픽: 리더보드를 신뢰하기 전에 본인의 작업 분포 (task distribution)에 대해 자체적인 평가 (eval)를 실행하십시오. 위에서 언급한 GPT-5.6 Sol과의 비교는 차이가 매우 근소하기 때문에, "그저 1위인 것을 사용하자"는 식의 접근은 미미한 이득을 위해 비용을 낭비하게 될 것입니다.
• 보안 연구, 레드팀 (red-teaming), 생물/화학 관련 분야: 마찰이 예상됩니다. 정렬 불량 (misalignment) 점수를 낮추기 위한 대가로 가드레일 (guardrails)이 느슨해지기는커녕 더 엄격해졌습니다.

벤치마크 (Benchmarks)는 모델이 샌드박스 (sandbox) 안에서 무엇을 할 수 있는지 알려줍니다. 하지만 HN의 댓글 섹션은 모델을 실제로 운영하는 데 비용이 얼마나 드는지 알려줍니다. 에이전트 군단 (agent fleet)의 스위치를 전환하기 전에 이 두 가지를 모두 읽어보십시오.

출처: Anthropic의 Claude Opus 5 발표, MarkTechPost 벤치마크 분석, 그리고 출시 및 리더보드 순위에 관한 Hacker News 스레드.