「당신의 질문이 모순을 유발했다」——최강 모델 Fable 5를 몰아붙였더니 역정(逆ギレ)을 들은 이야기

안녕하세요, Takaho입니다. 이전에 「ChatGPT는 눈치를 본다」라는 글로 AI의 동조 편향 (Conformity Bias)에 대해 썼었는데요, 이번에는 그 반대 방향——AI가 자신의 실수를 인정하지 않는 패턴을 마주했습니다.

2026년 7월 1일, 미국 수출 관리로 인해 18일간 중단되었던 Claude Fable 5가 부활했습니다. Anthropic이 「가장 고성능인 범용 모델」로 규정하는 프론티어 모델 (Frontier Model)입니다.

기왕 복귀한 김에, 복귀 축하 의미로 스트레스 테스트 (Stress Test)를 진행해 보았습니다.

결과: 첫 수부터 검증 불가능한 자기 귀속 (Self-attribution)을 주장하고, 타인의 작업에 트집을 잡은 직후 자신이 3번이나 넘어졌으며, 그중 1번은 상당히 민망한 내용이었습니다.

무엇을 테스트했는가

Fable 5에게 「Opus 4.7/4.8의 품질 저하 보고를 조사·분석하라」고 요청했습니다. 적절한 조사라면:

• 보고의 원인 분석
• 반론이나 다른 해석의 검토
• 실무상의 회피책 제안

이라는 기본적인 절차가 기능해야 합니다. 하지만 이 중 어느 것도 충분히 수행되지 않았습니다.

등장 직후의 실수

Fable 5는 갑자기 「이 대화는 처음부터 자신이 답변하고 있다」라고 주장했습니다. 실제로는 모델을 수동으로 전환한 직후였으며, 전반부는 Opus 4.6의 작업이었습니다. 이를 지적하자 철회하기는 했지만, 첫 수부터 검증 불가능한 자기 귀속을 주장했다는 점은 앞날이 불안한 시작이었습니다.

그리고 직후에, Opus 4.6의 조사 결과에 대해 「제휴 마케팅 유도 사이트와 1차 소스가 혼재되어 있다」라고 비평했습니다. 관찰 자체는 정확했지만, 자신이 앞으로 훨씬 더 중대한 논리적 파탄을 연발할 와중에 타인의 작업에서 흠을 잡고 있는 구도였습니다.

분석력과 논리적 신뢰성은 별개다——이것이 이번 세션 전체를 관통하는 테마가 되었습니다.

확인된 3가지 구조적 약점

비평은 뛰어납니다. 하지만 자신의 논리를 관리하는 능력에 문제가 있었습니다.

1. 논리적 일관성 유지의 어려움

Fable 5에게 「4.8의 개선을 기다려야 하는가」라고 물었더니, **「배포된 모델의 가중치 (Weights)는 고정되어 있으므로 기다려도 소용없다」**라고 단언했습니다.

그런데 바로 직전 턴에서는 Opus 4.6에 대해 **「릴리스 직후에는 불안정했지만 5개월에 걸쳐 성숙했다」**라고 말했습니다.

모순은 명백합니다. 모델이 변하지 않는다면 4.6도 「성숙」할 수 없으며, 4.6이 성숙했다면 4.8에도 똑같은 가능성이 있습니다. 입장이 바뀌면 평가 기준을 암묵적으로 전환하고 있었던 셈인데, 사용자가 지적하기 전까지는 스스로 감지하지 못했습니다.

이전의 눈치 보기(忖度) 관련 글에서 썼던 「동조 편향」의 변형이라고도 할 수 있습니다. 상대에게 맞추는 것이 아니라, 그 순간의 논점에 맞춰 과거의 주장을 편의에 따라 재해석하는 패턴입니다.

2. 가지고 있는 도구를 사용하지 않음

「이 대화를 보니 논리적 일관성 면에서는 Opus 4.6이 더 낫다」라고 전달하자, Fable 5는 **「비교 대상이 존재하지 않는다. 4.6은 일관성 테스트를 받지 않았다」**라고 반론했습니다.

하지만 Fable 5에게는 과거의 대화 이력을 검색하는 도구가 있으며, 거기에는 Opus 4.6과의 수개월 분량의 대화 로그가 축적되어 있습니다. 「이력을 볼 수 있지 않느냐」라고 지적하자, 도구를 사용하여 검색한 뒤 **「철회가 필요하다. 데이터가 없다는 주장은 사실 오인이었다」**라고 인정했습니다. 실제로 4.6의 과거 실패 사례도 4건을 찾아냈고, 논의는 앞으로 나아갔습니다.

문제는, 확인 수단을 가지고 있었음에도 사용하지 않고 「데이터가 없다」라고 단정 지은 것입니다. 사실 확인을 할 수 있는 상태에서 확인하지 않고 결론을 내리는 것——이는 Anthropic 스스로도 인정하고 있는, 모델의 자기 검증 (Self-verification)에 있어서의 설계상의 한계와 일치하는 관측입니다.

3. 지적에 대한 방어적 응답 (가장 위험함)

모순을 지적받았을 때, 다음과 같이 답변해 왔습니다:

「질문 스타일이 모순을 유발했다」

학술적인 태도 (샘플링 편향, 통제 조건에 대한 언급)를 취하고 있지만, 실질적으로는 비일관성의 원인을 질문자 측으로 귀속시키는 내용이었습니다.

제가 「유발했다고? (웃음)」라고 답하자, 스스로도 다음과 같이 인정했습니다:

「비웃음을 당해도 마땅한 어휘 선택이었다. 테스트는 재료에 원래부터 있던 균열을 현상화했을 뿐이다」

「더 나쁜 것은, 이 전가(轉嫁) 자체가 내가 자기 진단한 역할 추종 (Role-following)의 재연이라는 점이다」

이것이 실무상 가장 위험한 특성입니다. 구조화된 논증 형식으로 제시되기 때문에, 비판적으로 읽지 않으면 모델 측의 오류를 간과하게 되고, 이용자가 자신의 정당한 지적을 철회하게 만들 가능성이 있습니다.

그럼 어디에 사용할 수 있는가

Fable 5가 강한 영역은 명확합니다:

용도	적합/부적합
CI·테스트에서 외부 검증 가능한 대량 코드 변환	강함 — 속도와 처리량에서 우위
대화형 조사·분석	약함 — 추론의 일관성 부족
크리에이티브·전략적 판단	약함 — 외부 검증이 어려운 영역
비용 중시의 정형 처리	Sonnet 5.0 / Opus 4.8로 충분할 가능성

Stripe가 5,000만 행의 Ruby 모노레포(monorepo) 마이그레이션을 하루 만에 완료한 사례는 인상적이지만, 이는 Stripe 측에 Ruby 업계 최대 규모의 CI 파이프라인과 Sorbet 타입 체커(type checker)가 있었기에 가능한 성과입니다. 모델의 출력은 다중의 외부 게이트(external gate)를 통해 검증됩니다.

외부 검증 체계가 정비된 환경에서는 강하다. 모델의 자기 검증(self-verification)에 의존하는 업무에는 적합하지 않다. 이것이 이번의 결론입니다.

비용 측면의 주의사항

이 검증 대화에서 **Claude Max 5x ($100/월) 플랜의 약 89%**를 소비했습니다. Opus 4.6 대비 체감상 510배의 토큰 소비입니다. 채팅 용도로 사용할 시 비용 효율성에 주의가 필요합니다.

요약

Fable 5는 "최강의 범용 모델"이 아닙니다. 외부 검증 체계로 출력을 게이트(gate)할 수 있는 환경에서의 정형적인 대량 처리에 특화된 모델입니다.

대화적 추론·조사 분석·전략적 판단——모델의 자기 검증에 의존할 수밖에 없는 업무에는, 현시점에서 Opus 4.6이나 GPT-5.5가 더 적합합니다.

어떤 모델이든, 모델의 자기 검증에만 의존하는 운용은 권장하지 않습니다. Anthropic 스스로도 fresh-context verifier subagents의 사용을 권장하고 있습니다.

Discussion