연재 「정액제의 이면」 제5회. 지금까지 가격표를 읽어왔으나, 프론티어 랩(Frontier Lab)의 가격 전략에는 가격표에 실리지 않는 또 다른 층위가 있다. "이 모델은 위험하다", "일부 승인된 조직에만 공개한다", "개발을 가속해서는 안 된다" —— 안전성(Safety)에 관한 내러티브(Narrative)다. 본고는 이를 냉소도 옹호도 아닌, 하나의 구조로서 분해한다.

먼저 입장을 명시해 둔다. 본고의 분석 대상에는 나 자신이 일상적으로 사용하며, 본고의 집필 지원에도 사용하고 있는 벤더(Vendor)가 포함되어 있다. 이해관계자는 아니지만, 이용자로서의 편향(Bias)은 감안하고 읽어주길 바란다.

연재 「정액제의 이면 — API와 구독 가격 차이로 읽는 프론티어 모델의 경제 구조」

제5회 위험성이라는 이름의 해자(Moat) — 내러티브의 경제학과 관측 프로토콜 -
[제6회 유출을 전제로 설계한다 — 가치와 조직의 결합 문제]

"안전성 주장은 진심인가, 마케팅인가"라는 논쟁은 SNS 상에서 끊임없이 이어지고 있다. 하지만 이 논쟁에는 구조적인 결함이 있다. 어느 쪽이 진심이든, 외부에서 보이는 행동은 거의 동일해진다는 점이다.

가령 랩(Lab)이 진심으로 위험성을 우려하고 있다고 가정하자. 합리적인 행동은 다음과 같다: 능력의 한정 공개, 액세스(Access)의 계층화, 규제에 대한 지지, 안전성 연구에 대한 투자.

가령 냉철한 사업 전략이라고 가정하자. 합리적인 행동은 다음과 같다: 희소성 연출로서의 한정 공개, 프리미엄 가격을 정당화하는 계층화, 진입 장벽으로서의 규제 지지(컴플라이언스(Compliance) 요건은 체력이 있는 기존 기업에 유리), 인재 확보의 자석으로서 "가장 강력한 것을 만들고 있다"라는 이야기.

행동 리스트가 일치해 버린다. 게임 이론(Game Theory)의 용어로 말하자면 일괄 균형(Pooling Equilibrium) —— 타입이 다른 플레이어가 동일한 행동을 취하기 때문에, 행동으로부터 타입을 추정할 수 없는 상태에 있다. "진심을 캐묻는 기사"가 반드시 물타기 논쟁으로 끝나는 것은 논자의 불성실함 때문이 아니라, 이 균형의 구조 때문이다.

이것은 새로운 현상도 아니다. 2019년, OpenAI는 GPT-2의 풀 모델(Full Model)을 당초 공개하지 않고 소형 버전만 출시했다가, 같은 해 11월에 최종적으로 최대 버전을 공개했다. 이 단계적 공개는 당시부터 책임 있는 공개인지, 아니면 "위험성"을 이용한 선전인지에 대한 평가의 분열을 낳았다. 즉, 이 패턴은 7년째 이어지고 있으며, 최상위 모델의 승인 조직 한정 공개는 그 최신 형태로 자리 잡고 있다.

의도를 판정할 수 없다면, 판정할 수 있는 것을 보면 된다. 위험성 내러티브가 경제적으로 무엇을 낳는가는 의도와 무관하게 관측할 수 있다.

1. 희소성 지대(Scarcity Rent). "아무나 살 수 있는 것이 아니다"라는 사실 그 자체가 가격을 지탱한다. 한정 공개는 공급 제한이며, 공급 제한은 교과서대로 가격을 올린다.

2. 규제라는 진입 장벽. 안전성 규제가 법제화되면 컴플라이언스 비용을 지불할 수 있는 대기업에 유리하게 작용한다. 규제 지지는 결과적으로 신규 진입자에 대한 해자(Moat)가 된다.

3. 인재와 자본의 자석. "위험할 정도로 강력한 것"을 만드는 조직이라는 이야기는 연구자에게는 의미를, 투자자에게는 기대를 동시에 공급한다.

4. 증류 방벽(Distillation Barrier). 이것은 기술자로서 가장 주목해야 할 부수 효과다. 증류(Distillation) —— 모델의 출력으로부터 능력을 추출하여 다른 모델로 옮기는 기술 —— 에 대한 유효한 방어 중 하나는 출력에 대한 액세스 면적을 좁히는 것이다. 승인 조직 한정 공개는 인류에 대한 안전장치인 동시에, 구조적으로는 매우 강력한 대(對) 증류 방벽으로서도 기능한다. 가동 중인 설비로부터 가치가 빠져나가는 면적을 안전성이라는 명목하에 최소화할 수 있다. 물론 유출 경로는 API 출력뿐만 아니라 제휴사, 로그, 인재 등 여러 가지가 있으므로, 이는 "완벽한 차단"이 아니라 "면적의 최소화"이다.

다시 말하지만, 이것들은 의도가 어느 쪽이든 부수 효과로서 자동으로 발생한다. 그렇기에 "정합성이 너무 높다는 사실 자체"가 관측자를 판정 불능의 상태에 둔다.

일괄 균형 논의를 진지하게 하려면, 냉소 측에 불리한 사실도 나열할 필요가 있다. 단기 이익과 역행하는 행동은 실재한다: 수익 기회를 포기하는 자발적인 능력 제한, 경쟁사도 그대로 사용할 수 있는 안전성 연구의 공개, 자사마저 묶어버리는 방향의 규제 지지 표명.

물론 냉소 측은 이것들 또한 "장기 브랜드 투자"로 재해석할 수 있다. 그리고 이 재해석 가능성이론이야말로 문제의 핵심이다 —— 어떤 반증도 흡수할 수 있는 가설은 가설로서 기능하지 않는다. 독자에게 제시해야 할 것은 결론이 아니라, 자신이 반증 불가능성의 루프 속에 놓여 있다는 사실 그 자체이다.

하지만 판정 불능은 영원하지 않다. 일괄 균형(Pooling Equilibrium)은 균형의 내부에서만 성립한다. 균형 외부의 쇼크(Shock)가 오는 순간, 유형(Type)에 따라 행동이 분리된다(분리 균형(Separating Equilibrium)으로의 이행). 경제학자들이 자연 실험(Natural Experiment)을 기다리듯, 우리는 어떤 쇼크가 왔을 때 무엇을 보아야 하는지를 미리 열거해 둘 수 있다.

쇼크 1: 오픈 웨이트(Open Weights)가 최상위 모델을 따라잡았을 때. 희소성 지대(Scarcity Rent)가 소멸하는 순간이다. 전략적(Strategic)인 주체라면 차별화 가치가 사라진 한정 공개를 조용히 완화하며 수익화로 달려갈 것이다. 진지한(Sincere) 주체라면 지대 소멸 후에도 (수익을 포기하더라도) 제한을 유지할 것이다. 같은 '한정 공개'의 의미가 지대 소멸 전후로 반전된다.

쇼크 2: 자본 시장의 압력. 이전 연재의 '그림자 6'은 여기서 시험대로 재등장한다. 자금 사정이 악화되었을 때, 안전성을 이유로 한 수익 포기를 계속할 수 있는가. 자본의 선별 압력은 거짓을 유지하는 비용을 높이는 장치이다.

쇼크 3: 외생적인 규제. 모든 연구소(Lab)에 동일한 제한이 법률로 부과된다면, '자율적으로 제한하고 있다'는 사실의 차별화 가치는 제로가 된다. 진지한 파벌은 이를 환영할 것이다(원하던 상태가 무료로 실현되므로). 전략적 파벌은 적용 제외를 요구하며 로비 활동을 벌일 것이다. 규제에 대한 찬반 그 자체보다, 조항의 세부 사항에 대한 태도에서 본심이 드러난다.

그리고 이 세 번째 쇼크는 추상론이 아니다. 본 연재를 작성하던 도중인 2026년 6월 12일(일본 시간 13일), 바로 그것이 일어났다. 미국 정부가 국가 안보를 이유로 수출 관리 명령을 발령했고, Anthropic은 최상위 모델인 Fable 5 / Mythos 5에 대해 모든 사용자—자국의 외국 국적 직원들까지 포함하여—의 즉시 액세스 중단을 결정했다(타 모델은 영향 없음). 배경에는 Fable 5의 세이프가드(Safeguard)를 우회하는 수법에 관한 보고가 있었으나, 그 실체는 신중하게 다룰 필요가 있다. Anthropic 공식 입장은 정부가 '탈옥(Jailbreak) 수법을 파악했다'고 이해하고 있다고 설명하는 한편, Anthropic 스스로는 그것을 진정한 탈옥이라고 인정하지 않고 있으며, 보도에서는 Amazon 연구원의 실증이 정부의 대응을 유발했다고도 한다. 원인의 세부 사항보다 중요한 것은, 외생적인 힘(정부)이 개입한 순간, 연구소의 '위험하니까 제한한다'는 자율적 내러티브(Narrative)와 강제된 공급 중단이 구분 가능한 별개의 것으로 분리되었다는 점이다. 전자는 지대를 창출하지만, 후자는 지대를 파괴한다—액세스 중단은 수익 기회의 순수한 상실이며, 이는 전략적 모델만으로는 설명할 수 없다. 일괄 균형을 깨뜨리는 쇼크가 어떤 형태로 찾아오는지에 대한 생생한 표본을 실시간으로 얻게 된 셈이다. 다만, 유보 조항 또한 그만큼 무겁다. 이것은 '위험성 내러티브가 진짜였다'는 증명이 아니라, '위험성을 둘러싼 주도권이 연구소의 손을 떠날 수 있다'는 증명이다. 본심의 분리가 아니라, 본심을 말할 권리의 소재가 이동했다고 읽는 것이 정확할 것이다. (이 사건의 시계열, 법리, 지정학적 배경의 상세 내용은 별도 원고 「Anthropic 'Fable 5 / Mythos 5' 전면 중단 사건이 보여준 것」에 정리하였다.)

두 가지 유보 사항을 덧붙인다. 첫째, 쇼크 하에서의 행동조차 재해석의 여지는 남는다—가능한 것은 확정이 아니라 확신도의 갱신까지다. 둘째, 보다 본질적인 유보로서, 조직에 단일한 '본심'이 존재한다는 전제 자체가 의심스럽다. 연구소는 연구자, 경영진, 투자자의 연립 정권이며, 쇼크는 숨겨진 본심을 '폭로'하는 것이 아니라 내부의 세력 균형을 **재편(Reconfigure)**하는 것일지도 모른다. 관측되는 것은 고정된 본성이 아니라 압력 하에서의 연립 재편이다—실제 조직의 거동은 이 해석이 더 잘 설명한다.

추상론처럼 보일 수 있지만, 이는 조달 실무와 직결된다. 나는 관공서 입찰 현장에서 시스템을 납품하는 측의 사람으로서, 이 관점에서 말해야 할 것이 있다.

'승인 조직 전용', '능력 계층별 액세스'는 앞으로 늘어날 것이다. 최상위 모델의 한정 제공은 이미 현실이며, 규제가 진행되면 이 구조는 법적 근거를 가지고 고착화될 것이다. 앞 절에서 본 Fable 5 / Mythos 5의 즉시 중단은, 그 고착화가 '언젠가 일어날 수 있는 이야기'가 아니라 '이미 하룻밤 사이에 일어날 수 있는 이야기'임을 보여주었다(상세 내용은 별도 원고 참조). 특정 모델, 특정 액세스 계층을 전제로 구축된 시스템은 벤더의 전략 변경(또는 쇼크 1~3 중 하나)이 납품물의 사망을 의미하는 구조를 떠안게 된다. 게다가 이번 사례가 보여주듯, 그 방아쇠는 벤더의 의사조차 아닌 외부로부터의 명령 한 통일 수도 있다.

조달 측·수주 측 모두에 대한 제언:

• 사양서에 대체 가능성 조항을 삽입할 것. "동등한 성능을 가진 대체 모델로의 전환 절차를 문서화하고, 전환 시의 검증 방법을 정의할 것". 제4회 자사 평가 세트는 여기서 검수 및 유지보수 요건을 위한 도구가 된다.
• 성능 요건은 고유명사가 아닌 측정값으로 작성할 것. "○○ 모델을 사용할 것"이 아니라 "본 건 평가 데이터셋(Dataset)에서 정확도 △△ 이상"과 같이 작성해야 한다. 고유명사로 지정하는 것은 내러티브(Narrative)와 액세스 계층(Access Layer)의 변동 리스크를 발주자가 그대로 떠안는 방식이다.
• 제공 지속성을 벤더 평가 항목에 포함할 것. 모델의 제공 종료, 계층 변경, 지역 제한 이력은 재무제표와 동일한 무게로 보아야 할 신용 정보이다.
• 엑스포트(Export) 가능성을 확인할 것. 파인튜닝(Fine-tuning) 자산, 평가 로그, 운영 데이터가 제공 형태가 변경될 때 외부로 반출할 수 있는 계약인지 확인해야 한다.

내러티브의 진위는 판정할 수 없더라도, 내러티브가 변동할 가능성은 설계에 포함할 수 있다. 그것이 기술자로서 이 문제를 대하는 올바른 태도라고 생각한다.

최종회에서는 지금까지의 모든 내용을 제도의 문제로서 하나로 묶는다. "사회는 가치와 조직의 결합을 약속해 줄 수 있는가" —— 광케이블 부설업자의 망령과 함께 생각한다.