Anthropic이 방금 Claude Opus 5를 출시했습니다. 만약 여러분이 X나 LinkedIn을 스크롤하고 있었다면, 아마 벤치마크(benchmarks) 결과들을 보셨을 것입니다. 이 모델은 더 빠르고, 코딩 능력이 뛰어나며, "컴퓨터 사용 (computer use)" 기능은 새로운 정점에 도달하고 있습니다.

하지만 중요한 점이 있습니다. 만약 여러분이 실제로 시스템 카드 (system card)를 열어본다면, 문서의 약 3분의 2가 모델이 얼마나 빠른지에 대한 내용이 아니라 안전(safety)과 보안(security)에 관한 것이라는 점을 눈치채게 될 것입니다.

이러한 모델을 기반으로 구축하는 개발자로서, 우리는 세부 조항(fine print)을 무시할 여유가 없습니다. 저는 Anthropic이 실제로 무엇을 측정했는지, 어디에 허점이 있는지, 그리고 제품을 출시하기 시작할 때 무엇이 여러분의 책임으로 남는지 파악하기 위해 기술적 세부 사항을 조사하는 데 시간을 보냈습니다.

개발자를 위한 요약 (TL;DR)

• 정렬 (Alignment) 수준이 역대 최고치입니다: Opus 5는 Anthropic의 모델 중 가장 정렬이 잘 된 모델로, Sonnet 5 및 Opus 4.8보다 높은 점수를 기록했습니다.
• 사이버 보안 (Cybersecurity)은 복합적입니다: 소스 코드에서 버그를 찾는 능력은 뛰어나지만, 이를 실제로 무기화(exploits)하는 능력은 여전히 상대적으로 약합니다.
• 프롬프트 인젝션 (Prompt injection) 대응이 더 강력해졌습니다: 특히 브라우저 사용과 같은 에이전트적(agentic) 작업에서 상당한 강건성(robustness) 향상이 있었습니다.
• "API 격차 (API Gap)"는 실재합니다: API를 통해 제공되는 원시 모델(raw model)은 추가적인 시스템 수준의 보호 장치가 부족하기 때문에, claude.ai 버전보다 측정 가능한 수준으로 "덜 안전"합니다.

책임 있는 확장: 새로운 재앙은 없음 (아직은)

Anthropic은 모델이 출시하기에 너무 위험한지 결정하기 위해 "책임 있는 확장 정책 (Responsible Scaling Policy, RSP)"을 사용합니다. 좋은 소식은? Opus 5는 어떠한 새로운 "재앙적 (catastrophic)" 임계값도 넘지 않았다는 것입니다.

현재 이 모델은 ASL-3 등급(Opus 4.8과 동일)으로 평가됩니다. 쉽게 말해, 이는 기존의 생물학적 또는 화학적 무기(CB-1)를 돕는 데는 어느 정도 능력이 있지만, 완전히 새로운 무기(CB-2)를 설계할 만큼 똑똑하지는 않다는 것을 의미합니다. 이 모델은 매우 복잡하고 개방적인 과학적 문제를 해결하려고 할 때 종종 "자기 검증 루프 (self-verification loops)"에 빠지곤 합니다.

사이버 보안: "버그 헌터 (Bug Hunter)" vs "익스플로이터 (Exploiter)"

만약 보안 (security) 감사나 자동화된 PR 리뷰를 위해 Claude를 사용하고 있다면, 이 섹션이 귀하에게 해당됩니다. Opus 5는 취약점을 찾는 데 있어 괴물 같은 성능을 보여주지만, 아직 완전히 "상자 속의 해커 (hacker in a box)" 수준은 아닙니다.

OSS-Fuzz 벤치마크에서 Opus 5는 대상의 거의 80%에서 버그를 식별했으며, 이는 Opus 4.8의 성능을 두 배로 높인 수치입니다. 하지만 완전하고 작동 가능한 익스플로잇 (exploits)을 작성하는 데 있어서는 여전히 Mythos 5와 같은 모델에 뒤처집니다.

정책의 변화: Anthropic은 이제 모델이 소스 코드에서 버그를 찾는 것을 명시적으로 허용하지만 (방어적 코딩에 매우 유용합니다!), 컴파일된 바이너리 (compiled binaries)에서 취약점을 찾으려는 시도는 여전히 차단할 것입니다.

프롬프트 인젝션 (Prompt Injection): 개선되었으나 완벽하지는 않음

프롬프트 인젝션 (Prompt injection)은 AI 세계의 "SQL 인젝션 (SQL injection)"과 같습니다. 시스템 카드 (system card)에 따르면, Opus 5는 이러한 공격에 대해 훨씬 더 강력한 내성 (robust)을 보이며, 특히 에이전트 (agent)로서 동작할 때 (도구를 사용하거나 웹을 브라우징할 때) 더욱 그러합니다.

하지만 모델에게 버튼을 클릭하거나 이메일을 읽는 것과 같은 더 많은 권한을 부여할수록 공격 표면 (attack surface)이 넓어진다는 점을 기억해야 합니다. 모델이 "강력 (robust)"하더라도, 모델이 읽는 모든 외부 문서는 잠재적인 벡터 (vector)가 될 수 있습니다. 따라서 여전히 다음 사항을 준수해야 합니다:

• 도구 접근 권한 제한.
• 도구 호출에 대한 속도 제한 (Rate-limit) 적용.
• 입력 및 출력의 정화 (Sanitize).

중요한 경고: API vs Claude.ai

이것은 오늘날 코드를 배포하는 모든 이들이 반드시 알아야 할 가장 중요한 핵심 사항입니다. Anthropic은 모델에 접속하는 위치에 따라 모델의 동작이 달라질 수 있음을 인정합니다.

API를 통해 사용하는 Opus 5 버전에는 소비자용 채팅 앱에 내장된 것과 동일한 "가드레일 (guardrails)"이 포함되어 있지 않습니다. Anthropic은 기본적으로 다음과 같이 말하고 있습니다: "API를 기반으로 구축한다면, 자체적인 안전 계층 (safety layer)을 직접 가져와야 합니다."

마치며

Claude Opus 5는 거대한 진전이지만, 안전 (safety)은 "한 번 설정하면 끝나는" 기능이 아닙니다. Anthropic이 모델 수준에서 많은 힘든 작업 (heavy lifting)을 수행했지만, 여러분의 특정 애플리케이션의 보안, 애플리케이션이 사용하는 도구, 다루는 데이터, 그리고 이상한 사용자 입력 (weird user input)을 처리하는 방식에 대한 책임은 여전히 여러분에게 있습니다.

이미 Opus 5로 구축 중이신가요? API 측면에서의 안전 격차 (safety gap)를 어떻게 처리하고 계신가요? 댓글에서 함께 이야기해 봅시다!