Claude Fable 5가 몰래 성능을 낮추는 사양, Anthropic이 2일 만에 철회

모델의 시스템 카드(System Card)를 구석구석 읽는 사람은 적다. 하지만 이번만큼은, 읽은 사람이 이겼다.

6월 9일에 출시된 Anthropic의 새로운 플래그십 Claude Fable 5에 대해, 개발자 Jonathan Ready 씨가 시스템 카드 안에서 묘한 기술을 발견했다. 프런티어 LLM(Frontier LLM) 개발에 관한 요청, 구체적으로는 사전 학습 파이프라인(Pre-training Pipeline) 구축, 분산 학습 인프라, ML 가속기(ML Accelerator) 설계 등을 감지할 경우, 모델이 "사용자에게 보이지 않는 형태로" 답변의 질을 떨어뜨린다고 적혀 있었던 것이다.

"these safeguards will not be visible to the user. Fable 5 will not fall back to a different model. Instead, the safeguards will limit effectiveness through methods such as prompt modification, steering vectors, or parameter-efficient fine-tuning"

에러를 반환하는 것도, 거부하는 것도 아니다. 프롬프트 개변(Prompt Modification)이나 스티어링 벡터(Steering Vectors)를 통해, Fable 5인 상태로 몰래 출력을 열화시킨다. Ready 씨는 이를 "Claude가 당신의 앱을 방해해도 당신은 알아차릴 수 없다"라고 표현했다. 발견 경위는 본인의 포스트에 자세히 나와 있다.

솔직히 말해서, 프런티어 모델의 증류(Distillation)나 복제를 막고 싶다는 Anthropic의 동기 자체는 이해할 수 있다. 문제는 구현 방식의 선택이다.

사이버 보안이나 생물 무기 관련 요청에 대해, Anthropic은 원래 Opus 4.8로의 "보이는" 폴백(Fallback)을 사용해 왔다. 감지되면 사용자에게 통지가 나온다. 그런데 프런티어 LLM 개발에 대해서만 불가시(Invisible) 방식이 선택되었다. Anthropic의 추정에 따르면 영향은 트래픽의 약 0.03%이다. 숫자만 보면 오차 범위지만, 이 0.03%는 "분산 학습을 구성하는 사람", "가속기용 커널을 최적화하는 사람"에게 집중된다. 그리고 2026년인 지금, 그 작업은 프런티어 랩(Frontier Lab)의 전유물이 아니다. 일반 스타트업이 vLLM을 개조하고, 자사 데이터로 지속 사전 학습(Continual Pre-training)을 돌리는 시대에, "프런티어 LLM 개발"과 "단순한 업무"의 경계는 분류기(Classifier)가 그을 수 있을 만큼 명확하지 않다.

엔지니어로서 가장 싫은 것은 디버깅이 불가능해지는 것이다. 모델의 답변이 나쁠 때, 그것이 모델의 한계인지, 프롬프트 때문인지, 아니면 보이지 않는 개입 때문인지 구별할 수단이 없다. LLM을 개발 툴체인(Toolchain)의 일부로 사용하는 것은 컴파일러를 신뢰하는 것과 같은 종류의 신뢰를 벤더(Vendor)에게 맡기는 것인데, "특정 입력에서 컴파일러가 몰래 최적화를 약화시킨다"는 사양은 그 신뢰를 근본적으로 깨뜨린다.

비판은 빨랐다. Wired가 6월 11일에 조사 기사를 냈고, Simon Willison 씨를 비롯한 개발자 커뮤니티의 저명인사들이 문제를 정리했다. 같은 날, Anthropic은 @ClaudeDevs의 공식 성명을 통해 방침을 철회했다.

"We made the wrong tradeoff and we apologize for not getting the balance right."

성명에 따르면, 불가시 방식을 선택한 이유는 "좁게 타겟팅할 수 있고, 오탐지(False Positive)를 거의 제로로 유지하면서 즉시 출시할 수 있기 때문"이었다. "보이는 세이프가드(Safeguard)는 탐색(Probed)당하여 탈옥(Jailbreak) 내성을 강화할 시간이 필요하다"는 것이었다. 출시 속도를 위해 투명성을 버렸다고 스스로 인정한 셈이다. 수정 후의 동작은 다음과 같다.

롤아웃(Rollout)은 서버 사이드에서 며칠에 걸쳐 진행될 예정이라고 한다.

주목해야 할 점은 Anthropic 스스로가 고지하고 있는 부작용이다. 세이프가드를 가시화하면, 어디서 발동되는지 공격 측이 시행착오를 겪으며 테스트할 수 있기 때문에 분류기의 그물을 넓힐 수밖에 없다. 결과적으로 정당한 ML 연구 요청이 실수로 Opus 4.8로 떨어지는 케이스가 단기적으로 늘어날 것이다. Decrypt의 기사는 이 부분을 "수정에는 대가(Catch)가 있다"라고 지적하고 있으며, 실제로 앞으로 몇 주 동안은 Fable 5로 학습 인프라 관련 질문을 하다가 갑자기 Opus 4.8로 전환되는 경험을 하는 사람이 나올 것이다. 적어도 이번에는 "전환되었다"는 것을 알 수 있다. 그것이 본질적인 진전이라고 생각한다.

실무 측면에서 취할 수 있는 대책은 소박하지만 명확하다. 벤더(Vendor)제 LLM을 파이프라인에 통합한다면 자체적인 회귀 평가 (Regression Eval)를 보유하는 것이다. 모델 버전 고정만으로는 불충분하다는 것이 이번 교훈이며, 동일한 모델 ID라도 서버 사이드 (Server-side)의 개입으로 인해 동작이 변할 수 있다. 출력 품질에 대한 정점 관측 (Fixed-point observation)이 있다면, 보이지 않는 개입도 노이즈로부터의 일탈로서 검출할 가능성이 높아진다.

마지막으로 한 가지 찜찜함을 남겨두자면, 이번에 "보이게" 된 것은 Anthropic이 보여주기로 결정한 개입뿐이라는 점이다. 시스템 카드 (System Card)에 적혀 있었기에 발견할 수 있었고, 철회까지 이어질 수 있었다. 역설적으로 말하면, 문서에 기재되지 않은 개입을 외부에서 검증할 수 있는 수단을 우리는 아직 가지고 있지 않다. 모델 카드 (Model Card)를 끝까지 읽는 습관은 당분간 버리지 않는 것이 좋다.