Fable 5/GPT-5.6 상황에 대한 몇 가지 생각

Fable 5/GPT-5.6 상황에 대한 몇 가지 생각:

1. 타임라인에서 일부 사람들이 Anthropic이 미국 정부(USG)를 겁주어 이 모델들에 대한 접근을 제한하게 만들었다고 비난하는 것을 보았습니다. 솔직히 말해서, 그것은 말도 안 되는 소리입니다. 미국 정부(USG)가 이 모델들에 대한 접근을 제한하는 이유는 그것들이 가진 실제적이고 위험한 사이버 보안 (cybersecurity) 능력 때문입니다. 이 문제에 있어 Anthropic의 잘못은 없습니다.

만약 제가 Anthropic의 대정부 관계 (government relations) 담당자였다면, 경영진에게 Mythos Preview가 공개적으로 출시되기 전에 정부에 선제적으로 위험성을 알려야 한다고 말했을 것입니다. 이것이 대정부 관계의 알파와 오메가입니다. 만약 당신의 제품 중 하나에 잠재적인 심각한 문제가 있다면, 규제 기관이 제3자가 아닌 당신으로부터 그 소식을 듣게 해야 합니다.

(이것이 바로 Anthropic이 Amazon으로부터 이 문제를 처음 듣고 스스로 보고하는 대신, Amazon이 탈옥 (jailbreak) 소식을 미국 정부(USG)에 알리도록 방치한 것이 엄청난 실수였던 이유이기도 합니다.)

2. 반면에, Anthropic은 만약 Bessent가 잠재적인 국가 안보 (national security) 문제로 당신에게 전화를 한다면, 경영진의 즉각적인 반응은 "우리는 당신의 의견을 전적으로 경청하고 있으며 지금 당장 최대한 협조하겠습니다. 다만, 저희가 어떻게 더 잘 도울 수 있는지 명확히 하고 저희의 입장을 설명할 수 있도록 이후에 회의를 가질 수 있을까요?"가 되어야 한다는 점을 배워야 합니다.

규제 기관에 그냥 "아니오"라고 말할 수는 없습니다. 규제 기관의 우려가 실제로는 심각하지 않다고 그냥 말해버릴 수도 없습니다.

3. 저는 이 상황을 해결하기 위해 Tom Brown이 하고 있는 작업에 엄청난 인상을 받았습니다. 그와 그의 팀이 이를 완수할 것이라고 생각하며, 머지않아 Fable 5를 우리 손에 넣게 될 것입니다.

지난 며칠 동안 Tom Brown의 주가(stock)가 많이 올랐다고 생각합니다.

4. 더 구체적으로 "머지않아"라는 표현에 대해 말씀드리자면, 행정 명령 (Executive Order)은 NSA(미 국가안보국)가 행정 명령 발효일로부터 60일 이내, 즉 8월 초까지 사이버 리스크 (cyber risk)에 대한 프런티어 모델 (frontier models)의 "자발적" 테스트를 수행하기 위한 벤치마크 (benchmark)를 확정하도록 요구하고 있습니다. Anthropic과 OpenAI (그리고 아마도 다른 일부 연구소들)는 현재 이 벤치마크와 향후 모델을 테스트하고 승인하기 위한 "운영 규칙 (rules of the road)"를 개발하기 위해 미국 정부 (USG)와 협력하고 있는 것으로 보입니다. 저는 이 벤치마크와 "운영 규칙"이 확정되면, GPT-5.6과 Fable 5가 모두 통과하여 대중에게 공개될 수 있다는 발표가 나올 것이라고 추측합니다.

5. 저는 일반적으로 현 행정부가 상황이 정당화되지 않는 한 프런티어 AI 모델을 대중으로부터 제한하는 데 관심이 있다고 보지 않습니다. 특히 모델을 몇 주 더 붙잡아 두는 것이 미국 정부 (USG)가 자체 시스템의 버그 (bugs)를 잡기 위해 방어적으로 모델을 사용할 수 있는 시간을 더 확보해 주는 것이라면 더욱 그렇습니다.

생물학적 및 화학적 리스크 (bio and chemical risks)가 논의 대상이 된다면, 이러한 계산은 달라질 수 있습니다.

6. 저는 업계가 미국 정부 (USG)로 하여금 대상 모델에 대한 의무적 (자발적이 아닌) 테스트를 위한 명확한 서면 절차와 함께, 구체적인 부적격 기준 (disapproval standards), 항소권 (right of appeal), 그리고 절차에 대한 투명성을 발표하도록 유도하려 할 것이라고 추측합니다. 또한 저는 미국 정부 (USG)가 이에 반대하며, 절차 자체에 대한 구체성, 대중적 투명성, 또는 구체적인 부적격 기준(아마도 모델 능력 측면에서 사이버 리스크 외의 기준은 제외될 것임)이 결여된 현재의 행정 명령 (Executive Order) 기조를 유지하려 할 것이라고 추측합니다.

이는 의심할 여지 없이 현 행정부의 책임으로 돌려지겠지만, 저는 사실 그들의 곤경에 상당히 공감합니다. 연구소들로부터 AI가 재귀적 개선 (recursively improving)에 근접했으며, 현재의 리스크에는 사이버 리스크가 포함되지만 미래에는 거의 모든 것(미지의 미지 (unknown unknowns)를 포함하여)이 포함될 수 있고, 연구소들조차 리스크나 그 시점을 쉽게 예측할 수 없다는 말을 듣는 상황을 상상해 보십시오. 미국 정부 (USG)로서 당신은 최대한의 유연성을 확보하고 싶을 것입니다. 구체적인 서면 표준을 원하지 않을 것이며, 필요할 때 즉시 모델을 회수할 수 있는 권한에 어떠한 제한도 두려 하지 않을 것입니다. 이 과정 전반에 걸쳐 현 행정부의 투명성 부족과 성급한 결정 (trigger-happiness)에 대해 많은 글이 쓰였지만, 저는 다른 대부분의 행정부(민주당이든 공화당이든)도 이와 매우 유사하게 행동했을 것이라고 의심합니다.

7. 이 사건들에서 아무도 생각하지 않는 듯한 가장 큰 결과는 중국이 깨어날 가능성입니다. Anthropic은 NSA에 엔지니어들을 파견하여 공격적인 사이버 작전 (offensive cyber operations) 수행을 돕고 있습니다. 당신은 이러한 작전들이 누구를 대상으로 수행되고 있다고 생각합니까?

만약 제가 중국 공산당 (CCP)이고, 이러한 공격 중 일부를 받는 입장에 처한 데다 이제 여러 미국 연구소들이 이런 종류의 역량을 갖추고 있다는 보고서를 읽게 된다면, 저는 상당히 우려하게 될 것입니다. 저는 자국 연구소들이 미국보다 단지 4개월 뒤처져 있을 뿐이라고 말하는 것을 더 이상 듣지 않을 것입니다. 저는 인간이 가능한 한 가장 빠르게 프런티어 (frontier)를 따라잡기 위해 어떻게 해야 할지 진지하게 고민하기 시작할 것입니다.