2026년 6월 10일 - Link Blog
Claude Fable이 당신을 돕는 것을 멈춰도, 당신은 절대 알 수 없을 것입니다 ((via) Jonathon Ready가 Fable 5 및 Mythos 5를 위한 319페이지 분량의 시스템 카드(system card)에서 가장 눈썹을 치켜뜨게 만드는 세부 사항 중 하나를 강조했습니다. 다음은 더 긴 발췌문이며, 제가 강조한 부분은 다음과 같습니다:
최근 모델들이 스스로의 개발을 가속화할 수 있는 능력을 고려하여, 우리는 프론티어 LLM (Frontier LLM) 개발을 목표로 하는 요청(예: 사전 학습 파이프라인(pretraining pipelines), 분산 학습 인프라(distributed training infrastructure), 또는 ML 가속기 설계(ML accelerator design) 구축)에 대한 Claude의 효과를 제한하는 새로운 개입(interventions)을 구현했습니다. 경쟁 모델을 개발하기 위해 Claude를 사용하는 것은 이미 우리의 서비스 약관(Terms of Service)을 위반하는 것이지만, 우리의 안전 장치(safeguards)를 통해 이 제한을 강제함으로써 이러한 약관을 위반할 의사가 가장 높은 행위자들의 가속화를 방지합니다. 사이버 보안, 생물학 및 화학, 그리고 증류(distillation) 시도에 대한 우리의 개입과는 달리, 이러한 안전 장치는 사용자에게 보이지 않을 것입니다. Fable 5는 다른 모델로 전환(fall back)되지 않습니다. 대신, 안전 장치는 프롬프트 수정(prompt modification), 스티어링 벡터(steering vectors), 또는 매개변수 효율적 미세 조정(PEFT, parameter-efficient fine-tuning)과 같은 방법을 통해 효과를 제한할 것입니다. 이러한 개입은 대다수의 코딩 작업에는 영향을 미치지 않을 것입니다. 우리는 이것이 약 0.03%의 트래픽에 영향을 미치며, 0.1% 미만의 조직에 집중될 것으로 추정합니다.
저는 Anthropic이 이러한 종류의 조용한 개입(silent interventions)을 발표한 것이 이번이 처음이라고 믿습니다. 그 정당성은 여전히 저에게 꽤 공상 과학(science-fiction)처럼 느껴집니다. 연결된 기사는 "재귀적 자기 개선(recursive self-improvement)"에 대해 이야기하고 있습니다. 저는 순전히 Anthropic의 자체 목표와 충돌할 수 있는 연구를 늦추기 위해 "ML 가속기 설계"에 관한 질문에 대한 답변을 조용히 오염시키는 모델을 전혀 좋아하지 않습니다!
최근 기사
- Claude Fable 5에 대한 첫인상 - 2026년 6월 9일
- MicroPython 및 WASM을 사용한 샌드박스(sandbox) 내 Python 코드 실행 - 2026년 6월 6일
- Claude Opus 4.8: "겸손하지만 실질적인 개선" - 2026년 5월 28일