어쨌든 저는 이것을 본격적으로 사용해 보기로 했습니다. 요즘 제 개발 시간의 대부분을 잡아먹는 바로 그런 종류의 작업들을 목표로 삼았습니다. 노출된 엔드포인트(endpoint)에 대한 보안 감사(security audit), 엉망인 인증 흐름(auth flow) 리팩토링(refactoring), 그리고 유용한 로그 없이 죽어버리는 서버 함수(모든 프로젝트에 하나씩은 있고, 꼭 필요하지 않으면 건드리지 않게 되는 그런 함수) 디버깅(debugging) 같은 것들 말이죠. 4일 동안 42개의 요청을 추적했으며, 각 요청은 전송되는 즉시 기록되었습니다.

계산은 간단해 보였습니다. Anthropic의 라인업 중 가장 비싼 모델로, 제 플랜을 통해 7월 7일까지는 무료로 포함되어 있었고, 그 이후에는 Opus 4.8의 두 배 가격으로 청구됩니다. 기간이 남아 있을 때 사용하는 것이 좋았습니다.

Fable 5가 사라지는 것은 저에게 새로운 일도 아닙니다. Fable 5가 처음으로 오프라인 상태가 되었을 때는 라우터 문제가 아니라 정부의 수출 통제 명령 때문이었습니다. 이번에는 다릅니다. 같은 모델, 같은 구독이지만, 답변을 하기도 전에 무언가 새로운 것이 지켜보고 있는 것 같습니다.

하지만 2일 차부터 알림이 계속 나타났습니다. 모든 요청에서 나타나는 것은 아니었지만, 자주 나타났고, 항상 같은 종류의 작업에서 발생했습니다.

제가 계속 보게 된 알림

모델 게이트키퍼(gatekeeper) 변경 후 디버깅 성능 저하

4일 차가 끝날 무렵, 로그는 다음과 같았습니다. 42개의 요청 중 29개가 Fable 5가 아닌 다른 것에 의해 답변되었습니다. 이는 69%에 해당합니다 (사용량 대시보드는 자체 막대 그래프를 5% 단위로 반올림하기 때문에, 제 계산과 Anthropic의 수치가 완전히 일치하지는 않았지만 거의 비슷했습니다). 또한 이것이 고르게 분포되어 있지도 않았습니다. **인증(authentication)**이나 **엔드포인트 감사(endpoint audit)**를 다루는 모든 세션에서 플래그(flag)가 지정되었습니다. 글쓰기나 계획 세우기 세션에서는 단 한 번도 발생하지 않았습니다.

알림 자체는 상당히 정중합니다. 오류 메시지도 없이, 작업 도중에 마치 다크 소울 (Dark Souls)의 사망 화면처럼 아무런 경고 없이 조용히 교체될 뿐입니다. 'YOU DIED(당신은 죽었다)'와 비슷하지만, 여기서는 **'YOU GOT OPUS'D(오퍼스로 교체되었습니다)'**에 가깝습니다.

저의 첫 번째 반응은 가벼운 짜증이었습니다. 하지만 이 패턴이 이틀 연속으로 지속되자, 두 번째 반응은 이것이 무작위가 아니라는 확신이었습니다.

이를 확인시켜 준 숫자

알고 보니 제가 패턴을 상상한 것이 아니었습니다. BridgeMind라는 벤치마크 프로젝트가 이미 수치를 산출해 두었습니다. Fable 5가 다시 온라인 상태가 된 다음 날, 그들은 새로운 버전을 대상으로 자신들의 코딩 스위트인 BridgeBench를 다시 실행하고 전후 비교 결과를 발표했습니다.

디버깅 (Debugging) 점수는 86.2에서 25.9로 급락했습니다. 리팩토링 (Refactoring)은 73.6에서 38.4로 떨어졌습니다. 환각 저항성 (Hallucination resistance)은 75.9에서 61.7로 미끄러졌습니다.

해당 실행에서 12개의 TypeScript 디버깅 작업 중, 실제로 Fable 5에 도달한 것은 단 3개뿐이었습니다. 나머지 9개는 작업 도중에 Opus 4.8로 경로가 재지정되었고, 평가 대상인 모델이 답변할 기회조차 얻지 못했기 때문에 점수는 그대로 0점이 되었습니다. 25.9라는 점수의 대부분은 여기서 발생했습니다. 디버깅이라는 카테고리 자체가 멍청해진 것이 아닙니다. **가로채기 (intercepted)**를 당한 것입니다.

Anthropic은 모델을 재배포한다는 자체 발표에서 이미 이 점을 언급한 바 있습니다. 코딩이나 디버깅 같은 일부 일상적인 작업들은 Opus 4.8로 폴백 (fall back)될 것이라고 말이죠. 저의 69%와 BridgeMind의 75%(12개 중 9개 재지정)는 누군가 베꼈기 때문이 아니라, 우리 모두가 동일한 문을 바라보고 있었기에 같은 이야기를 두 번 말하는 것처럼 매우 근접한 수치를 보여줍니다.

왜 항상 똑같은 작업들인가

그 이면에 있는 메커니즘은 일단 펼쳐놓고 보면 복잡하지 않습니다. Fable 5를 19일 동안 오프라인 상태로 만든 수출 통제 명령은, 한 보안 연구원이 모델로 하여금 실제 소프트웨어 취약점 (vulnerability)을 식별하고 시연하게 만든 이후에 내려졌습니다. 이는 정부를 불안하게 만드는 종류의 출력물입니다. Anthropic의 해결책은 전면적인 로보토미 (lobotomy, 뇌 절제술)가 아니라, 해당 특정 동작과 그와 매우 유사해 보이는 모든 것을 잡아내도록 훈련된 **새로운 분류기 (new classifier)**였습니다. 이것이 제 스프레드시트를 설명해 주는 부분입니다. 분류기는 vulnerability (취약점), exploit (익스플로잇), hook (훅), fix (수정), auth (인증)와 같은 보안 작업 관련 어휘를 감시합니다. 인증 흐름을 디버깅 (debugging)하는 작업은 취약점을 탐색하는 작업과 거의 동일한 단어들을 사용하기 때문에, 분류기는 버그 수정과 침입 시도를 항상 구분할 수 없으며, 잘못 추측하는 대신 Opus 4.8으로 라우팅 (routing)하는 쪽을 택합니다.

장문 쓰기 (Long-form writing)는 이 데미지를 전혀 입지 않습니다. 문서 분석 (Document analysis) 또한 마찬가지입니다. 제품 로드맵을 위한 3일간의 기획 세션은 사이버 보안 (cybersecurity) 어휘와 겹치는 부분이 전혀 없으므로, 매번 아무런 제약 없이 통과됩니다. 분류기는 제 코드베이스 (codebase)를 알지 못합니다. 그저 어떤 단어가 나타나느냐에 따라 패턴 매칭 (pattern matching)을 할 뿐입니다. 이는 마치 NPC가 사용자가 실제로 무엇을 입력하든 상관없이 정해진 3줄의 대사만 반복하는 것과 같습니다.

관련 없는 이야기지만, 제 USB-C 독 (dock)은 이 Mac이 잠자기 모드에서 깨어날 때마다 외부 모니터를 여전히 2개의 별도 디스플레이로 표시합니다. 저는 몇 달 전에 고치려는 시도를 포기했습니다.

7월 7일 이후 실제로 돈을 지불할 가치가 있는 것

동일한 모델에 대해 상반된 결과를 보여주는 두 가지 벤치마크 (Benchmarks)

7월 7일이 되면, Fable 5는 실제로 누가 요청에 응답하든 상관없이 Opus 4.8 요율의 두 배인 사용량 크레딧(usage credits) 방식으로 전환됩니다. 이는 계산 방식을 완전히 바꿔 놓습니다. 전환 전에는 보안 관련 코딩에 Fable 5 크레딧을 소모하는 것이 어느 정도 납득이 갔습니다. 어쨌든 포함되어 있었으니까요. 하지만 전환 후에는 어떤 모델이 나타날지 모르는 동전 던지기(coin flip) 상황에 프리미엄 요율을 지불하는 것은 완전히 다른 문제입니다.

크레딧을 쓸 가치가 있는 경우: 장문 글쓰기(long-form writing), 문서 분석(document analysis), 며칠에 걸친 계획 수립(planning). 이러한 작업들은 가로채기(intercepted)를 당하는 경우가 거의 없으므로, 실제로 Fable 5에 비용을 지불하고 Fable 5의 결과물을 돌려받게 됩니다.

더 이상 가치가 없는 경우: 보안 감사(security audits), 인증 디버깅(auth debugging), 그리고 완전히 무해하더라도 사이버 보안(cybersecurity) 냄새가 나는 모든 것. 당신은 어차피 $5/$25 모델에서 조용히 실행될 실질적인 가능성이 있는 요청에 대해 입력 토큰 100만 개당 $10, 출력 토큰 100만 개당 $50를 지불하고 있는 것입니다. 제 할당량을 잡아먹은 Fable 5 기능을 통해 저는 Fable 5의 프리미엄 요율이 실제로 Fable 5가 작업을 수행할 때만 이득이 된다는 것을 뼈아프게 배웠습니다. 제가 내린 가장 단순한 규칙은 다음과 같습니다: 어떤 모델이 나타날지 모르는 동전 던지기에 돈을 쓰지 말고, Fable 5가 실제로 만지는 작업에 대해서만 Fable 5 요율을 지불하십시오. 이러한 검증 규율(verification discipline)에 대해서는 Prompt Contracts에서 더 자세히 다루지만, 요약하자면 결과물을 신뢰하기 전에 실제로 누가 응답했는지 확인하라는 것입니다.

회계팀의 Karen은 어떤 모델이 티켓에 응답했는지에는 관심이 없습니다. 그녀는 Opus 4.8이 조용히 처리한 요청에 대해 인보이스(invoice)에 Fable 5 가격이 찍혀 있다는 사실에 신경을 씁니다. 솔직히 말해서, 저도 마찬가지입니다 💸

2개의 벤치마크, 2개의 매우 다른 결론

BridgeBench와 Arena는 같은 주에, 같은 모델을 대상으로 수치를 발표했지만, 완전히 다른 결론에 도달했습니다. BridgeBench는 모든 재라우팅 (reroute)을 실패로 간주하는데, 이는 Fable 5의 가용성 (availability)을 평가한다면 방어 가능한 논리이지만, 모델이 실제로 작동할 때의 실질적인 역량을 평가한다면 다소 설득력이 떨어집니다. 반면 Arena는 다르게 운영합니다. 텍스트, 문서, 코드, 그리고 에이전트 (agent) 작업 전반에 걸쳐 수천 건의 블라인드 인간 선호도 투표를 실시하며, 이를 체스에서 사용하는 것과 동일한 등급 시스템인 **Elo 점수 (Elo score)**로 순위를 매깁니다 (여기서는 모델 비교를 위해 조정되었습니다).

Arena의 버전은 그에 비해 거의 지루해 보일 정도입니다. 프론트엔드 (Frontend) 코드는 Elo 1650에서 1623으로 하락했는데, Arena 자체는 이 격차가 통계적으로 신뢰 구간 (confidence interval) 내에 있다고 명시했습니다. 문서는 34포인트 상승했습니다. 전문가용 텍스트는 25포인트 상승했습니다. 분류기 (classifier)의 사각지대와 가장 많이 겹치는 카테고리인 코딩 (Coding)은 18포인트 하락했습니다. 어려운 프롬프트 (Hard prompts)는 3포인트 하락했습니다. 제가 같은 주의 두 수치에 너무 많은 의미를 부여하는 것일 수도 있지만, 이 차이는 분류기가 어떤 작업을 방해하고 어떤 작업은 방해하지 않는지와 거의 정확하게 일치합니다.

이는 마치 동일한 플레이가 서로 다른 2개의 세이브 파일에 기록된 것 같으며, 묘하게도 두 플레이 모두 정사 (canon)로 인정되는 상황과 같습니다. BridgeBench는 Fable 5가 요청을 확인하기도 전에 요청이 가로채졌을 때 발생하는 일을 측정합니다. Arena는 Fable 5가 실제로 답변하는 드문 경우에 무엇을 생성하는지를 측정합니다. Anthropic은 현재 분류기가 너무 넓은 그물을 던지고 있으며 시간이 지나면서 조정될 것이라고 밝혔지만, 그 약속에 구체적인 날짜는 붙어 있지 않았습니다. Anthropic 외부의 누구도 검사할 수 없는 분류기는 외부에서 독립적으로 감사 (audit)할 수 있는 대상이 아닙니다. Fable 5가 너프 (nerfed)되었는지에 대한 정직한 답변은 실제로 당신의 요청을 연 모델이 무엇인지에 전적으로 달려 있으며, 제가 있는 위치에서는 이를 확인할 방법이 없습니다.

7월 7일 이후에도 지속될 부분

만약 이러한 분류기 패턴이 다음 차세대 프론티어 모델 (frontier model) 출시 주기에서 표준이 된다면, 무언가가 조용히 사라지게 될 것입니다. 그것은 바로 특정 결과물을 실제로 어떤 모델이 만들어냈는지 알 수 있다는 확실성입니다.

이번 주에 낭비된 크레딧(credits)에 대해서만 이야기한다면 그것은 추상적으로 들릴 수 있습니다. 하지만 특정 모델의 재현성(reproducibility)을 기반으로 구축된 모든 **에이전트 파이프라인 (agentic pipeline)**에게는 이야기가 훨씬 덜 추상적입니다. 즉, 테스트를 거쳤고, 알려진 실패 프로필(failure profile)을 가지고 있으며, 그 실수를 이미 예상할 수 있게 된 바로 그 모델에 의존하고 있다면 말입니다.

이번 주의 ROI(투자 대비 수익) 계산은 7월 7일에 종료됩니다.
하지만 이 문제는 종료되지 않습니다.

출처

• Anthropic, "Redeploying Claude Fable 5", 2026년 7월 1일
• BridgeMind, BridgeBench before and after numbers
• Arena 데이터 범위: Decrypt를 통해 제공
• Digital Applied, Claude Fable 5 usage-credits pricing guide

이 포스트에는 제휴 링크가 포함되어 있을 수 있습니다. 링크를 클릭하시면 저에게 소정의 수수료가 지급될 수 있습니다 (귀하에게 비용이 발생하지 않으며, 제가 매일 여러분의 즐거운 독서를 위해 양질의 기사를 계속 발행하는 데 도움이 됩니다).