Anthropic은 방금 프런티어 모델(frontier models)의 가성비 곡선을 재설정했습니다. 새로운 Claude 3.5 Sonnet은 점진적인 업데이트가 아닙니다. 이전의 최상위 모델인 Claude 3 Opus를 능가하는 지능을 제공하면서도, 속도는 두 배 더 빠르고 비용은 훨씬 저렴합니다. 이것은 단순한 새로운 모델이 아닙니다. 특히 복잡한 코딩 및 에이전트적 작업(agentic tasks)을 수행하는 실무용 AI에 대해 기대해야 할 새로운 기준점(baseline)입니다.

무엇이 변했는가: 중간 계층 비용으로 누리는 플래그십 지능

핵심 요점은 지능-속도-비용 간의 트레이드오프(tradeoff)가 압축되었다는 것입니다. Claude 3.5 Sonnet은 GPQA 및 HumanEval을 포함한 여러 대학원 수준의 추론 및 코딩 숙련도 벤치마크에서 Claude 3 Opus를 능가합니다. 하지만 가격은 기존 Sonnet의 요율인 입력 토큰 100만 개당 3달러, 출력 토큰 100만 개당 15달러로 책정되었습니다.

개발자들에게 가장 중요한 지표는 내부 에이전트적 코딩 평가(agentic coding evaluation)에서 나옵니다. 버그나 기능에 대한 자연어 설명을 제공했을 때, Claude 3.5 Sonnet은 문제의 64%를 해결했습니다. Claude 3 Opus는 동일한 테스트에서 38%를 해결했습니다. 이는 단순한 벤치마크의 승리가 아닙니다. 레거시 애플리케이션 업데이트나 코드베이스 마이그레이션과 같은 자율적인 코드 조작 작업에서의 신뢰성에 있어 단계적 변화(step-change)를 의미합니다.

또한 Claude 3 Opus보다 두 배 빠른 속도로 작동하여, 문맥 인식 고객 지원(context-aware customer support)이나 다단계 워크플로 오케스트레이션(orchestrating multi-step workflows)과 같이 지연 시간(latency)에 민감한 애플리케이션에 활용하기 적합합니다.

어떻게 사용하는가: API 액세스 및 새로운 Artifacts UI

모델에 액세스하는 방법은 간단합니다. Anthropic API를 통해 사용할 수 있으며, Amazon Bedrock 및 Google Cloud의 Vertex AI에서도 이용 가능합니다. 통합 방법은 단순한 모델 문자열(model string) 업데이트입니다.

import anthropic

client = anthropic.Anthropic(
...

더욱 흥미로운 점은, Anthropic이 Claude.ai에서 Artifacts라고 불리는 새로운 기능을 출시했다는 것입니다. 모델에게 코드 스니펫 (code snippet), 문서, 또는 웹사이트 디자인과 같은 콘텐츠를 생성하도록 요청하면, 대화창 옆의 전용 창에 해당 내용이 나타납니다. 사용자는 생성된 콘텐츠를 실시간으로 확인하고, 편집하며, 이를 바탕으로 작업을 확장할 수 있습니다. 이는 상호작용을 단순한 채팅에서 협업 워크스페이스 (collaborative workspace)로 변화시키며, 끊임없는 복사 및 붙여넣기 없이 AI의 출력을 워크플로 (workflow)에 직접 통합할 수 있게 합니다.

비전과 에이전틱 코딩 (agentic coding)의 도약

순수한 지능을 넘어, Claude 3.5 Sonnet은 이제 Anthropic의 가장 강력한 비전 모델 (vision model)입니다. 이 모델은 표준 비전 벤치마크 (vision benchmarks)에서 Opus를 능가하며, 차트와 그래프를 해석하고 불완전한 이미지에서 텍스트를 전사 (transcribing)하는 능력에서 현저한 개선을 보여주었습니다. 이는 시각적 입력으로부터 구조화된 데이터 (structured data)를 추출해야 하는 물류, 금융, 소매 분야의 애플리케이션에 직접적인 영향을 미칩니다.

에이전틱 코딩 (agentic coding) 성능의 도약은 우리 중 많은 이들에게 진정한 핵심입니다. 정교한 추론 (reasoning)을 통해 독립적으로 코드를 작성, 편집 및 실행할 수 있는 능력은 우리가 계속 추구해 온 것입니다. Anthropic의 내부 평가 (internal eval)에서 보여준 64%의 해결률 (solve rate)은 기존 코드베이스를 이해하고, 변경 사항을 추론하며, 이를 정확하게 구현해야 하는 작업에서 더 높은 신뢰도를 시사합니다. 이는 Claude 3.5 Sonnet을 단순한 코드 스니펫 생성을 넘어, 개발 작업을 진정으로 분담할 수 있는 에이전트 (agents)를 구축하기 위한 더 실행 가능한 후보로 만듭니다.

이번 주의 시사점

이전의 플래그십 (flagship) 모델보다 더 뛰어나면서도 더 빠르고 더 저렴한 모델의 출시는 중대한 사건입니다. 빌더 (builders)들에게 이는 현재의 모델 스택 (model stack)을 재평가하라는 즉각적인 신호입니다. Opus 수준의 모델로는 비용이 너무 많이 들거나 속도가 느렸던 워크플로가 이제 Claude 3.5 Sonnet을 통해 실용적으로 변할 수 있습니다. 코딩과 비전에서의 개선은 더 복잡하고 자율적인 에이전트 (autonomous agents)를 위한 새로운 가능성을 열어줍니다. 트레이드오프 곡선 (tradeoff curve)이 이동했으며, 어려운 문제에 대한 여러분의 기본 모델 선택 또한 그에 따라 바뀌어야 할 것입니다.

출처 (Sources)

출처 (Sources)

Claude 3.5 Sonnet 소개