Claude Opus 5: 모델 출시로 위장한 비용 절감

Anthropic은 7월 24일에 Claude Opus 5를 출시했으며, 벤치마크 차트만 본다면 헤드라인을 놓치기 쉽습니다. 이 회사는 Opus 5가 많은 코딩 및 지식 작업(knowledge-work) 태스크에서 Claude Fable 5에 근접하면서도 가격은 절반 수준이라고 말합니다. 또한 이는 Claude Max의 새로운 기본 모델이자 Claude Pro에서 가장 강력한 모델입니다.

이는 일반적인 프론티어 모델(frontier-model)의 보도 자료처럼 들립니다. 더 나은 코딩. 더 나은 추론. 더 많은 파트너 인용구. 그리고 법적으로 요구되는 대로 우상향하는 몇 개의 차트들 말이죠.

흥미로운 점은 모델이 더 똑똑해졌다는 것이 아닙니다. 흥미로운 점은 Anthropic이 더 강력한 모델을 매일 사용하기에 충분할 만큼 지루하게 만들려 한다는 것입니다.

벤치마크 이야기가 전부는 아니다

Anthropic은 Opus 5가 Frontier-Bench 및 GDPval-AA와 같은 코딩 및 지식 작업 평가에서 최첨단(state of the art) 수준이라고 말합니다. 이 모델은 작업당 비용은 더 낮으면서 Frontier-Bench에서 Opus 4.8의 성능을 두 배 이상 높였고, 최대 노력 시 Fable 5의 최고 CursorBench 점수에 0.5% 이내로 근접하며, 주어진 비용 내에서 여러 자동화 및 컴퓨터 사용(computer-use) 벤치마크에서 다른 모델들을 능가한다고 합니다.

좋습니다. 유용한 데이터지만, 제가 워크플로우(workflow)를 구축할 근거로 삼을 부분은 아닙니다.

이제 모든 진지한 연구소(lab)는 새로운 모델이 이전 모델을 이긴다는 표를 발표할 수 있습니다. 개발자들에게 질문은 더 작고 덜 화려합니다. 즉, 태스크가 배급(rationing)을 멈출 수 있을 만큼 충분히 저렴해졌는가 하는 점입니다.

그 지점이 바로 Opus 5가 중요한 이유입니다.

Anthropic은 Opus 4.8 API 가격을 유지했습니다: 입력 토큰 100만 개당 5달러, 출력 토큰 100만 개당 25달러입니다. 또한 기본 가격의 두 배로 기본 속도보다 약 2.5배 빠른 Fast 모드를 추가했습니다. 만약 주장된 작업당 비용(cost-per-task) 이득이 큐레이션된 평가(evals) 외부에서도 유지된다면, 실질적인 변화는 "Claude가 더 똑똑해졌다"가 아니라 "더 많은 에이전트 루프(agent loops)가 이제 경제적으로 수용 가능하다"가 될 것입니다.

이것은 벤치마크 점수 5점을 더 올리는 것보다 사용 패턴을 더 크게 변화시킵니다.

에이전트(Agents)는 완료된 태스크당 비용에 의해 제약받는다

대부분의 에이전트(Agent) 데모는 청구서를 무시함으로써 조용히 속임수를 씁니다. 모델에게 충분한 재시도(Retries) 횟수, 충분한 컨텍스트(Context), 충분한 도구(Tools), 그리고 충분한 인간의 인내심을 제공하면 매우 인상적으로 보일 수 있습니다. 하지만 매일 똑같은 작업을 실행하려고 하면 실제 제품 요구사항을 발견하게 됩니다. 즉, 청구서가 터무니없이 커지기 전에 답변이 충분히 좋아야 한다는 것입니다.

중요한 단위는 토큰(Tokens)이 아닙니다. 그 자체로 지연 시간(Latency)도 아닙니다. 바로 완료된 태스크당 비용(Cost per finished task)입니다.

패치를 적용하는 데 10번의 시도가 필요한 코딩 에이전트는 3번이 필요한 에이전트와는 다른 범주에 속합니다. 사용 가능한 브리프(Brief)를 작성하기 전 40분 동안 방황하는 리서치 에이전트는 단순히 더 느린 것이 아니라, 당신이 일상적인 업무를 그 모델에 맡길 수 있는지 여부를 결정짓는 요인이 됩니다. 그 비용은 돈, 시간, 주의력, 그리고 모델이 자신 있게 잘못된 파일을 수정했을 때 지불해야 하는 사후 처리 비용(Cleanup tax)입니다.

따라서 Anthropic이 Opus 5를 일상적인 모델(Everyday model)이라고 설명할 때, 그것은 검증해야 할 주장입니다. 즉, 이 모델이 "어려운 문제에 사용하는 용도"에서 "루프(Loop) 안에 그대로 두는 용도"로 넘어갈 수 있는가 하는 점입니다.

그것은 훨씬 더 높은 기준입니다. 일상적인 모델은 극적인 승리도 적어야 하고, 멍청한 사이드 퀘스트(Side quests)도 적어야 합니다.

가장 유용한 출시 세부 사항은 대화 중간의 도구 변경입니다

모델 발표에는 대충 훑어보고 지나치기 쉬운 두 가지 플랫폼 변경 사항이 포함되어 있습니다. 개발자는 프롬프트 캐시(Prompt cache)를 무효화하지 않고도 대화 중간에 Claude가 사용할 수 있는 도구를 변경할 수 있으며, API 사용자는 요청이 특정 안전 분류기(Safety classifiers)에 걸릴 때 자동 폴백(Automatic fallback)을 활성화할 수 있습니다.

제가 주목하는 것은 도구 변경(Tool-change) 기능입니다.

많은 에이전트 시스템은 여전히 모델이 주머니 속에 전체 작업장(Workshop)을 통째로 넣고 다녀야 하는 것처럼 구축되어 있습니다. 리포지토리(Repo) 도구, 브라우저 도구, 셸(Shell) 도구, 배포(Deploy) 도구, 데이터베이스 도구, 티켓 도구, 문서(Docs) 도구, 그리고 통합 페이지에서 추가하기 쉽게 만들어 놓은 그 외의 모든 것들 말입니다. 그것은 편리합니다. 하지만 동시에, 한 단계를 해결하면서 실수로 다른 다섯 단계에 대한 권한까지 갖게 되는 에이전트를 만드는 방식이기도 합니다.

대화 도중에 도구(tools)를 변경할 수 있는 것은 더 깔끔한 형태입니다. 모델이 조사하는 동안에는 읽기 전용(read-only) 저장소 접근 권한을 부여하세요. 패치(patch)를 제안할 때는 테스트 도구로 교체하세요. 계획이 구체화되었을 때만 쓰기(write) 도구를 추가하세요. 작업이 실제로 배포(deployment)에 관한 것이 아니라면 배포 형태의 도구는 제거하세요.

이것은 화려하지 않습니다. 하지만 데모 이후에도 에이전트 워크플로우(agent workflows)가 유용하게 유지될지를 결정하는 일종의 배관 작업(plumbing)입니다.

프롬프트 캐싱 (Prompt caching) 또한 여기서 중요합니다. 도구 세트를 변경하는 것이 캐싱된 컨텍스트(cached context)를 버려야 하는 상황을 강제한다면, 사람들은 더 안전한 경로가 너무 비싸기 때문에 계속해서 과도한 권한을 부여할 것입니다. 도구 범위 지정(tool scoping) 비용이 저렴해진다면, 더 많은 시스템이 기본적으로 최소 권한 원칙 (least-privilege)을 따를 수 있습니다.

작은 API 허용 범위 (API affordance). 거대한 워크플로우의 결과.

안전 장치(safety fallback)는 단순한 안전 결정이 아닌 제품 결정이다

Anthropic은 또한 공격적인 사이버 보안과 같은 위험한 이중 용도 (dual-use) 작업에 대해서는 Mythos 5의 배후에 Opus 5가 있으며, 플래그(flagged)가 지정된 일부 요청은 자동으로 다른 모델로 폴백 (fallback)될 수 있다고 말합니다. 회사는 Opus 5가 취약점을 잘 찾아낼 수 있지만, 익스플로잇 (exploits)을 개발하는 데 있어서는 Mythos 5보다 훨씬 약하며, 좁은 범위의 사이버 작업에 대해 더 강력한 가드레일 (guardrails)을 갖추고 있다고 설명합니다.

이를 해석하는 데는 두 가지 방식이 있습니다.

자비로운 해석: Anthropic은 유용한 보안 지원과 고위험 익스플로잇 생성 작업을 분리하고 있으며, 폴백 (fallback)을 통해 일반 사용자들이 무해한 작업에서 완전히 차단되는 것을 방지하고 있다.

냉정한 해석: 모델 라인업은 이제 라우팅 (routing) 문제다. 능력, 위험, 지연 시간 (latency), 가격, 그리고 정책이 모두 동일한 디스패치 계층 (dispatch layer)의 일부가 되었다.

이것이 아마도 진지한 AI 제품들이 나아가는 방향일 것입니다.

만약 제가 Opus 5를 에이전트 워크플로우 (agent workflow)의 기본 모델로 채택할지 결정해야 한다면, 헤드라인 평가 (headline evals)부터 시작하지는 않을 것입니다. 대신 이미 시간을 잡아먹고 있는 짜증 나는 작업들을 대상으로 작은 하네스 (harness)를 실행해 볼 것입니다.

• 오도하는 증상 뒤에 알려진 근본 원인 (root cause)이 숨겨져 있는 버그 조사 (bug investigation)
• 정답이 "최대한 적은 파일을 수정하는 것"인 리포지토리 전역 리팩토링 (repo-wide refactors)
• 모델이 출처를 인용하고 자신이 모르는 것을 말해야 하는 조사 보고서 (research briefs)
• 모델이 오래된 UI 상태 (stale UI state)로부터 복구해야 하는 브라우저 또는 스프레드시트 작업
• 즉흥적으로 행동하는 대신 권한을 요청해야 하는 도구 범위 작업 (tool-scoped tasks)

그런 다음 네 가지를 측정할 것입니다: 작업 완료율 (finished-task rate), 시도 횟수 (number of attempts), 인간의 개입 (human interventions), 그리고 정리 시간 (cleanup time). 토큰 비용 (Token cost)은 그 다음에 고려할 사항이지, 그 이전에 고려할 사항이 아닙니다. 저렴하게 틀린 루프 (wrong loop)는 여전히 틀린 루프일 뿐입니다.

기준은 Opus 5가 아름다운 일회성 답변을 만들어낼 수 있느냐가 아닙니다. 기준은 Opus 5가 지루한 루프를 더 이상 신경 쓰지 않아도 될 만큼 충분히 저렴하게 만드느냐 하는 것입니다.

그것이 진정한 모델 출시입니다.

최첨단 기술의 과시 (frontier flex)가 아니라, 더 강력한 모델이 그냥 켜두어도 될 만큼 일상적인 것이 되는 단계 말입니다.