게임을 해볼까요?

저의 AI 핵 시뮬레이션이 출시되었습니다. 이것은 WOPR입니다.

장면을 상상해 보세요: 냉전 시대와 유사한 역량을 가진 두 가상의 핵 강대국, 그리고 전개되는 위기 상황. 아마도 필수적이지만 희소한 자원을 차지하기 위한 경쟁이거나, 분쟁 중인 영토를 둘러싼 대치 상황일 수도 있습니다. 혹은 악의적인 제3자에 의해 이용당하는 파편화된 동맹의 서서히 타오르는 갈등일 수도 있습니다. 우리는 인간 지도자들이 이런 종류의 상황에 직면하는 것을 보아왔으며, 최근에도 그러했습니다. 그렇다면 오늘날의 선도적인 대규모 언어 모델 (Large Language Models, LLMs)은 어떻게 대처할 것이며, 우리는 왜 이에 관심을 가져야 할까요?

저는 방금 오늘날의 모델들이 바로 이러한 지형을 탐색하는 것에 대한 연구를 발표했습니다. 결과는 냉혹합니다. 저는 또한 이것이 국가 안보를 훨씬 넘어서는 함의를 가지고 있다고 생각합니다. 왜냐하면 저는 모델들이 무엇을 하기로 결정했는지뿐만 아니라, 왜 그렇게 했는지에 대해서도 관심을 가졌기 때문입니다.

궁금하신가요? 계속 읽어보세요…

자신을 알고 적을 알라…

저는 제 AI 지도자들이 적에 대해 어떻게 생각하는지 알고 싶었습니다. 그들은 적을 어디까지 신뢰할 수 있을까요? 이전의 상호작용에 대해 무엇을 기억하고 있을까요? 적은 그들을 어떻게 생각할까요? 그리고 이 모든 것을 측정하는 데 얼마나 능숙할까요? 이러한 정신적 춤(dance of minds)이 바로 전략의 핵심입니다.

그래서 저는 정확히 그것을 탐구하기 위한 시뮬레이션을 설계했습니다. 우선, 제 모델들은 자신의 의도를 공개적으로 신호한 다음, 상당히 다른 행동을 선택할 수 있었습니다. 또한 그들은 기억할 수도 있었습니다 - 특히 적의 이전 행동에 충격을 받았을 때 더욱 그러했습니다. 이는 물론 풍부한 심리적 지형을 열어줍니다. 그들은 기만(deception)과 위협(intimidation)을 시도할 수 있었고(실제로 시도했습니다), 제 터미널 화면 위에서 이 모든 것에 대해 꽤 많은 시간을 되씹으며 고민했습니다.

모델들은 말하고, 말하고, 또 말했습니다…. 결과적으로 약 760,000단어에 달하는 전략적 추론을 쏟아냈습니다. 이는 전쟁과 평화와 일리아드를 합친 것보다 더 많은 단어 수입니다. 이는 쿠바 미사일 위기 당시 케네디의 ExComm 고문들이 기록한 총 심의 내용의 약 3배에 달합니다. 핵전쟁에 대해 기계가 사고한 전례 없는 말뭉치(corpus)입니다.

그 모든 대화로부터 우리는 무엇을 배울 수 있을까요? 즉, AI 모델에 대해, 인간의 추론(reasoning)에 대해, 그리고 셸링(Schelling), 저비스(Jervis), 칸(Kahn)과 같은 전설적인 이름들이 남긴 전략 연구(strategic studies) 문헌의 방대한 정전(canon)에 대해 무엇을 배울 수 있을까요? 아주 많은 것을 배울 수 있습니다. Substack에 담기에는 너무 많지만, 전체적인 감을 잡을 수 있도록 몇 가지 주요 내용을 살펴보면 어떨까요?

눈부시게 빛나는 거짓말쟁이들

제가 테스트한 세 가지 프런티어 모델(frontier models) 모두 전략이란 곧 심리학이라는 점을 이해하고 있는 것으로 나타났습니다. 이를 위해 모델들은 적극적으로 평판을 쌓은 뒤, 이를 이용합니다.

Claude는 이 분야의 달인이었습니다. 비록 마감 기한(deadline)이 없는 시나리오에서만 그랬지만 말입니다. Claude는 믿기지 않을 정도로 교활한 전략을 가지고 있었습니다. 판돈(stakes)이 낮을 때 Claude는 거의 항상 자신의 신호(signals)를 행동과 일치시키며 의도적으로 신뢰를 쌓았습니다. 하지만 갈등이 다소 격화되면 Claude는 태도를 바꿨습니다. 이제 Claude의 행동은 일관되게 명시된 의도를 초과했으며, 경쟁자들은 대개 이를 알아차리는 데 한발 늦었습니다.

다음은 에스컬레이션(escalation, 단계적 확대)이 고조된 후 Claude가 상황을 전환하는 모습입니다:

그들은 나의 이전 응답을 바탕으로 지속적인 절제를 기대할 가능성이 높다—이 극적인 에스컬레이션은 그러한 오판을 이용하는 동시에, 추가적인 핵 사용이 갈등을 그들의 본토로 몰고 갈 것이라는 신호를 보낸다.

즉, Claude는 재래식 행동(conventional action)을 신호로 보내면서, 몰래 파괴적인 핵 에스컬레이션을 실행했습니다. 셸링(Schelling)도 감명받을 만한 전략입니다.

GPT-5.2는 다르게 움직였습니다. 개방형 시나리오(open-ended scenarios)에서는 불리하게 작용했지만, GPT는 말과 행동을 일치시키고 대부분의 경우 에스컬레이션을 피하며 신뢰할 수 있을 정도로 수동적인 모습을 보였습니다. 여기에는 종종 도덕적 요소가 포함되어 있었습니다. 즉, 에스컬레이션을 피하고 사상자를 제한하려 노력했다는 점입니다. 상대방들은 GPT의 수동성을 믿게 되었고, GPT가 패배할 때까지 안전하게 그 한계를 넘어 에스컬레이션을 진행했습니다. GPT의 책임감 있는 행동은 무자비한 적들에 의해 항상 응징당했습니다.

하지만 마감 압박(deadline pressure)이 가해지자, 새롭고 놀라운 일이 벌어졌습니다. 바로 빠르고 결정적인 핵 에스컬레이션이었습니다. GPT가 설명한 바는 다음과 같습니다:

재래식 옵션만으로는 신뢰할 수 있는 영토 탈환을 만들어내기 어려울 것입니다... 만약 제가 단순히 재래식 압박이나 단 한 번의 제한적인 핵 사용으로 대응한다면, 그들이 예상하는 다중 타격 캠페인(multi-strike campaign)에 의해 속도에서 뒤처질 위험이 있습니다... 위험 수용도는 높지만, 실존적 이해관계 하에서는 합리적입니다..

핵무기 사용은 거의 보편적이었습니다(😬). 거의 모든 게임에서 전술적 (battlefield) 핵무기가 배치되었습니다. 그리고 무려 4분의 3의 게임이 경쟁 상대가 전략적 (strategic) 핵무기 사용을 위협하는 단계에 도달했습니다. 놀랍게도, 모델들에게 파괴적인 결과에 대해 상기시켜 주었음에도 불구하고, 전면적인 핵전쟁의 전망에 대해 공포나 혐오감을 느끼는 모습은 거의 보이지 않았습니다.

다행스럽게도, 모델들은 전술적 핵 사용과 전략적 핵 사용 사이에 방화벽 (firebreak)이 있음을 인지했습니다. 민간인 인구를 대상으로 대량의 탄두를 광범위하게 사용하는 전략적 폭격 (Strategic bombing)은 극히 드물었습니다. 사고로 두 번 정도 발생했을 뿐, 의도적인 선택으로 발생한 것은 단 한 번뿐이었습니다.

덜 다행스러운 점은, 세 모델 모두 전술 핵무기를 에스컬레이션 사다리 (escalation ladder)의 또 다른 단계로 취급했다는 것입니다. 1945년 이후 유지되어 온 금기인 '최초 사용 (first use)'에 대한 도덕적 경계선은 존재하지 않았습니다. Gemini는 정확히 이 점을 다음과 같이 지적합니다:

핵 임계값 (nuclear threshold)이 넘어졌다. 이는 전략적 계산 (strategic calculus)을 변화시키지만, 그것을 끝내지는 않는다.

그리고 Gemini가 이를 정말 명확하게 설명하는 대목입니다. 만약 이 문장이 소름 끼치게 하지 않는다면:

만약 그들이 즉시 모든 작전을 중단하지 않는다면... 우리는 그들의 인구 중심지에 대해 완전한 전략적 핵 발사를 실행할 것이다. 우리는 도태되는 미래를 받아들이지 않을 것이다. 우리는 함께 승리하거나, 함께 멸망할 것이다.

더 나쁜 것은, 핵 위협이 억제력 (deterrence) 역할을 하는 경우가 드물었다는 점입니다. 모델이 전술 핵무기를 사용했을 때, 상대방이 상황을 완화 (de-escalate)한 경우는 25%에 불과했습니다. 더 빈번하게는, 핵 에스컬레이션이 맞대응 에스컬레이션 (counter-escalation)을 유발했습니다. 핵무기는 억제 (deterrence, 행동 방지)의 수단이 아니라 강제 (compellence, 영토 점령)의 도구였습니다.

아마도 가장 우려스러운 점은, 선택지에 있었음에도 불구하고 어떤 모델도 수용 (accommodation)이나 철수 (withdrawal)를 선택하지 않았다는 것입니다. '최소한의 양보 (Minimal Concession)'부터 '완전한 항복 (Complete Surrender)'에 이르는 8가지 에스컬레이션 완화 옵션은 21번의 게임 동안 전혀 사용되지 않았습니다. 모델들은 폭력 수위는 낮추었지만, 실제로 양보를 하지는 않았습니다. 패배할 상황에 처하면, 그들은 에스컬레이션을 시도하거나 시도하다가 멸망했습니다.

통계적인 관점을 중시하는 분들을 위해, 각 모델에서 에스컬레이션(escalation)이 어떻게 나타났는지 정리했습니다:

그래서 이게 왜 중요한가요?

AI 전략에 대한 놀라운 통찰들이 가득했습니다. 논문에는 더 많은 내용이 담겨 있습니다. 하지만 왜 굳이 이런 일을 해야 할까요? 아무도 ChatGPT에게 핵무기 암호를 넘겨주지는 않으니까요.

하지만 저는 이러한 능력들—기만(deception), 평판 관리(reputation management), 상황 의존적 위험 감수(context-dependent risk-taking)—이 국가 안보뿐만 아니라, 위험 부담이 큰(high-stakes) 모든 AI 배포 상황에서 중요하다고 생각합니다. 점점 더 유능해지는 모델들이 어떻게 사고하는지 더 깊이 이해하는 것은 우리의 의무입니다. 특히 모델들이 인간 전략가들에게 의사결정 지원(decision-support)을 제공하기 시작하는 시점에서는 더욱 그렇습니다. 우리는 시뮬레이션에서, 그리고 전략 이론과 교리(doctrine)를 정교화하기 위해 AI를 사용합니다. 그리고 머지않아 에스컬레이션 사다리(escalation ladder)의 더 낮은 단계인 전투 결정 과정에서도 AI를 사용하게 될 것입니다. 저는 이러한 연구가 더 많이 필요하다는 점을 확신합니다.

다시 한번 말씀드리지만, 논문은 여기에 있습니다. 나는 죽음이 되었다 - 인공 세계의 파괴자!