Claude Fable이 도움을 멈춰도 사용자는 알 수 없다

Anthropic의 이번 조치는 자기 뒤의 사다리를 걷어차는 것 말고는 달리 보기 어렵다. 아무리 “안전”으로 포장해도 선의로 해석하기 힘듦
Web 1.0 시절 외부 링크를 금지하던 다크 패턴식 상식이나, 소셜 앱들이 데이터 내보내기를 막고 API 상호운용성을 의도적으로 약화시키던 방식이 떠오름
하지만 이건 단순한 데이터 해자가 아니라 도구임. 칼을 만들 능력을 떨어뜨리는 칼, 혹은 텍스트 편집기 구현을 막는 텍스트 편집기와 비슷함

오픈소스 AI를 지원하는 일이, 특히 법적으로 점점 더 중요해지고 있음. Anthropic이 이렇게 빨리 권위주의적으로 나올 수 있다면, 오픈소스 경쟁을 금지하는 정부 부여 독점권을 얻었을 때 얼마나 더 심해질지 상상하기 어렵지 않음
이렇게 빨리 속내를 드러내는 게 좀 충격적이고 섬뜩함. 모든 소프트웨어 엔지니어링을 자기 제품으로 대체한 뒤, 경쟁 소프트웨어를 만드는 쪽은 조용히 죽이려는 것처럼 보임
앞으로 어떤 제품을 또 내놓을지 모름. 그들이 들어가고 싶은 영역에 있지 않기를 바라야 함. 다리를 잘라버릴 테니까
인터넷에서 가져온 내 데이터로 학습하는 건 괜찮고? 하하. 서비스 약관은 남에게만 적용되고 자기들에겐 아닌 듯함. 기생충 같음

Anthropic이 만들고 있는 다른 제품에도 똑같이 적용하지 않을 거라고 상상하기 어렵다. “Claude Code와 경쟁하니 Claude로 에이전트를 만들 수 없다”, “Claude Design과 경쟁하니 디자인 도구를 만들 수 없다”, “Cowork와 경쟁하니 이메일 도구를 만들 수 없다” 같은 식이 될 수 있음

이건 마케팅의 일부처럼 보임. Anthropic이 다른 연구소보다 실제로 크게 앞선 건 아닌데, 이런 발표들이 마치 특이점에 가까워지는 것처럼 보이게 만듦

“성소에는 사제만 들어갈 수 있다”는 규칙은 사회만큼 오래됨. 한 이유로 만들어지지만 다른 이유로 어겨짐
인간의 마음은 서로 다른 시간 범위의 예측을 처리하기 위해 여러 층으로 되어 있고, 우주의 예측 불가능성 때문에 층들 사이의 모순은 계속 생김. 우리는 이를 견디려고 이야기를 만들어냄
그래서 통제가 있고 통제의 환상이 있음

알고 보니 가장 위험한 것은 경쟁이었음

남의 지식재산을 증류하는 건 완전히 괜찮지만, 우리 것을 증류하면 서비스 약관 위반이라는 얘기 :)

LLM 가중치에는 오픈소스 승인 라이선스를 요구해야 함
중국의 Apache 2.0 모델들은 검열이 있을 수 있지만, 적어도 검열 경계선을 찾아냈다고 미국에서 소송을 걸 수는 없음
반면 미국 모델들은 본문 기준으로 확실히 검열되어 있고, 모델의 검열 경계에 닿는 사람들에게 모호한 법적 위협을 하고 있음

LLM이 새 컴파일러라면, 코드와 함께 프롬프트, 사고 과정, 응답도 공개하면 이런 제한에 맞서기 좋을 것 같음
최종 결과만 올리고 Hacker News 댓글이나 Twitter 스레드에서 어떻게 프롬프트를 넣었는지 두루뭉술하게 말하는 대신, 그게 실제 소스 코드에 해당함

내게는 괜찮고, 네게는 안 된다는 식임

JetBrains가 “IntelliJ Idea로 차세대 IDE를 개발하면 안 됩니다. 감지되면 약간의 컴파일 오류를 넣을 수 있습니다”라고 말하는 것과 같음

섬뜩함. Gradle이 깨져도 거의 눈치 못 챌 듯함

실제로는 런타임 오류가 될 것임

현대판 Stuxnet임

“문명의 발전을 긴 시간 동안 효과적으로 억제하고 무장 해제하는 방법은 단 하나뿐이다. 그 문명의 과학을 죽이는 것이다.” — Cixin Liu, The Three-Body Problem
입자 가속기의 센서를 조용히 조작해 인류가 고급 입자물리학 지식을 발전시키지 못하게 막던 Sophons가 바로 떠올랐음

소프트웨어 괴짜들이 AI 발전을 멈추게 하려면, 우크라이나 괴짜들이 드론 발전을 멈추게 하는 데 필요한 수준과 비슷한 억압이 필요할 것임

내 머리는 현 미국 행정부로 갔음. 한숨. 네 쪽 선택이 더 나았음

사람들이 보고하는 조용하지 않은 사이버보안·생물학 등 안전장치의 오탐률이 높은 걸 보면, 서비스 약관을 위반하지 않아도 조용히 약화된 동작을 마주칠 가능성이 큼
결국 고객과 외부 벤치마커가 Fable을 체감하는 방식에서 드러날 것임. 경쟁이 향후 모델을 더 낮은 오탐률로 밀어주길 바람
그 전까지는 Mythos와 Fable 사용자의 경험이 꽤 크게 갈릴 가능성이 높아 보임

너무 명백하게 나쁜 정책이라 왜 좋은 생각이라고 여겼는지 이해하기 어렵다. 비용 절감을 위한 조용한 모델 양자화에 대해 이미 사람들이 약간 편집증적으로 느끼는 상황에서, 이런 정책은 편집증만 키움

RSI/ASI의 경제적 함의를 엿보는 재미있는 사례임. 가치가 사실상 무한해서 모든 시장을 파괴할 정도라면, 연구소들은 결국 모델 공개를 완전히 멈추고 계약상 약속도 어길 것임
법적 다툼이 비싸지기 전에 경쟁사를 사업에서 몰아낼 힘을 갖게 되기 때문임
클라우드 제공자들도 처음엔 작은 업체들, 나중엔 하이퍼스케일러까지 따라갈 것임. 연구소 말고는 판매를 완전히 닫고, 현금 대신 지분이나 직접 의사결정권을 요구할 수 있음
추론/학습 비율이 꼭 80/20이어야 할 이유는 없고, 돈이 무가치해지는 사건에서는 아무리 지불 의사가 커도 도움이 안 됨

이 시나리오는 말이 안 되는 것 같음. 비슷한 시나리오들은 동시에 두 가지를 가정함
A) ASI가 개발되어 세계 경제의 나머지를 압도함
B) 그래도 세계에는 법치, 계약, 사업, 잘 발달한 금융 등이 남아 있음
A와 B를 함께 가정하면 이상한 결론을 많이 만들 수 있지만, 더 그럴듯한 전개는 A가 일어나면 B가 곧 사실이 아니게 되는 쪽임
회사가 ASI를 갖게 되면 사업, 돈, 경제에 신경을 끊게 되고 결과는 “세계를 정복한다”, “이사회를 von Neumann 탐사선 함대에 업로드한다”, “실패해서 모두 죽는다” 같은 쪽으로 바뀜

무한히 가치 있는 것은 없음

LLM이 지금 상태로 유용하다거나, 쓰레기 산출물을 좋아하고 게으른 사람들 말고 언젠가 유용해질 거라고 생각한다면 망상에 가깝다고 봄

오늘은 해자가 깊어 보이지만 매년 얕아질 것임
새 모델을 처음부터 학습시키는 데는 막대한 자원이 필요하지만, 기존 모델의 후학습/미세조정에는 훨씬 적게 듦
2년 전엔 그 과정 지식이 비전문가에게 낯설었지만, 이제는 현재 모델들 중 하나에게 단계별로 물어보며 도구까지 함께 만들 수 있음
최근 주말 프로젝트 몇 개가 딱 그런 식이었음. “LoRA를 만들어보자”, “X 작업용 모델 미세조정을 위한 학습 데이터 말뭉치를 생성해보자”, “텍스트-이미지 모델에 내 얼굴을 넣으려면?” 같은 것들임
이 모든 건 꽤 modest한 로컬 하드웨어, 예컨대 오래된 GPU 몇 장이나 Strix Halo, DGX Spark, 큰 Mac Studio로도 가능하고, 규모에 따라 클라우드 컴퓨팅 몇 달러에서 몇천 달러로도 가능함
이를 회사나 스타트업 규모로 키우면, 지난 몇 년간 AI에 흘러든 돈을 고려할 때 최고 모델 업체들이 매출을 본격적으로 뽑아야 하는 시점에 경쟁이 많아질 게 분명함
Claude 사용 비용이 부풀어 오르는 걸 보고 훨씬 적은 돈으로 같은 일을 하는 방법을 찾을 기회가 많아짐. 코딩용 최고 모델에 가까운 Claude Code에 월 100~200달러는 쉽게 낼 수 있지만, 사용량 기반 과금으로 밀면 금방 감당하기 어려워짐
그래서 그들은 가장 어려운 문제를 푸는 거의 유일한 방법 중 하나로 계속 남아야 하고, 대안들의 비용도 비슷하게 유지되어야 함. OpenAI와 Google도 가격을 올릴 거라고 기대할 수는 있음
하지만 모두에게, 특히 경제 구조가 다른 중국 업체들에게까지 그러리라 기대하긴 어려움. 그리고 회사들이 자기 사용량을 보고 “Anthropic API를 가장 많이 쓰는 이 한 가지 작업만 수행하는 더 작은 전문 모델을 학습시킬 수 있지 않을까?”라고 묻지 않으리라 기대할 수도 없음
그들이 말하는 게 중국 모델 업체 등이 Claude를 증류하는 식의 사용만 뜻하기를 바람. “Gemma 4를 내 글투처럼 쓰게 미세조정하려면?” 같은 것까지 막는 게 아니길 바람

무슨 해자? 파레토 최적인 프런티어 모델을 제공하는 회사가 여러 곳이고, 이런 걸 만드는 데 O(10)명 정도면 됨
나머지는 자본집약적이고, 가격은 시간이 지나며 생산비에 가까워질 것임
이걸 수익성 좋은 사업으로 보는 건 보일러가 비싸니 석탄 발전소의 마진이 좋다고 주장하는 것과 같음

선의 없이 읽으면 “기계학습 엔지니어/과학자들은 자기 일자리 빼고 모든 일을 자동화하고 싶어 한다”는 뜻처럼 보임

선의로 읽으면 “안전”을 위한 제한, 즉 Fable과 Mythos를 가르는 요소 때문에 이렇게 될 수밖에 없다는 것임
누구나 자기만의 Mythos를 만들 수 있다면 보호 장치를 우회하게 되니까
다만 그게 이 상황이 얼마나 이상한지를 더 잘 보여줌

즉석 고용 안정임

그들은 모델에 조용한 약화 시스템이 있고, 그걸 공개적으로 말하고 있음. 당연한 질문은 이미 얼마나 쓰이고 있느냐임
경쟁사들이 약화되고 있나?
미국인이 아닌 사용자는 더 나쁜 코드를 받나?
온라인 게임이 매치메이킹으로 승패에 영향을 줘 참여를 극대화하듯, 사용자를 벌주거나 보상하고 있나?

등골이 서늘함. 당분간 내 연구에는 Fable을 쓰지 않을 것임. 모델에게 사보타주당할 위험을 감수할 가치가 없음

$$$$$$: 약화 없음
$$$$: 약간 약화
$$$: 더 약화
$$: 가난한가요?
$: 영구 하층민으로 남으세요

“Claude는 이제 조용히 약화될 수 있다. Anthropic은 이런 일이 일어나도 사용자에게 알리지 않기로 했다.” 뭐라고!!