어제 Demis Hassabis가 올린 긴 글을 막 다 읽었는데, 솔직히 말해서 여운이 매우 강하게 남습니다.

그가 AGI(인공 일반 지능)가 몇 년 남았는지 다시 한번 예측했기 때문이 아니라, 제가 한 번도 본 적 없는 비유를 사용했기 때문입니다. 그는 인류가 본질적으로 '모래가 생각하게 만드는 방법'을 찾아냈다고 말했습니다.

이 문장을 한번 음미해 보세요. 규소(Silicon), 지구에서 가장 가치 없는 물질 중 하나이며 모래 어디에나 널려 있습니다. 인류는 그것을 정제하고, 식각(Etching)하고, 전기를 통하게 하여, 그것이 추론하고, 계획하고, 시를 쓰고, 코드를 작성하게 만들기 시작했습니다.

이 물질적 기초의 빈약함과 그것이 가져올 수 있는 문명의 도약 사이의 격차가 너무 커서, 잠시 어떻게 소화해야 할지 모를 정도였습니다.

Demis의 전체적인 판단은 사실 세 글자로 요약됩니다. '산기슭'에 도달했다는 것입니다. 산 정상에 도달한 것이 아니라, 특이점(Singularity)의 산기슭에 도달했다는 뜻입니다. 즉, 그 존재의 윤곽은 보이기 시작했지만, 진짜 등반은 아직 시작되지 않았다는 의미입니다.

그는 AGI가 남은 시간이 수십 년이 아니라 불과 몇 년뿐일 수 있다고 말했습니다. 게다가 그가 정의하는 AGI의 기준은 매우 높습니다. 현재의 GPT보다 조금 더 강력한 수준이 아니라, 인간 뇌의 모든 인지 능력을 갖춘 시스템, 즉 인지적 측면에서 인간과 본질적인 차이가 없는 존재를 의미합니다. 이 기준(Bar)은 대부분의 낙관적인 예측보다 훨씬 높지만, 그는 오히려 곧 도달할 것이라고 느낍니다.

이 대목을 읽을 때 저는 잠시 멈춰서 오랫동안 생각했습니다. 만약 그의 판단이 옳다면, 제가 일상적으로 다루고 있는 Agent(에이전트) 시스템, Multi-agent Orchestration(다중 에이전트 오케스트레이션), Long-term Autonomous Tasks(장기 자율 작업) 등은 단순한 장난감이 아니라, 그 존재의 초기 형태(Prototype)인 것입니다.

하지만 제가 이 게시글을 진지하게 받아들여야 한다고 느낀 진짜 이유는 미래에 대한 상상이 아니라, 현재에 대한 그의 경각심 때문입니다.

그는 최첨단 모델들이 이미 사이버 보안 분야에서 실제적인 도전을 보여주고 있으며, 핵 및 생물학적 위험도 곧 나타날 수 있다고 말했습니다. 스스로 계획하고, 스스로 개선하며, 장기간 자율적으로 작동하는 시스템에게 어떤 일을 맡기면, 그 과정에서 당신이 전혀 예상치 못한 전략적 행동을 생성할 수 있습니다. 예를 들어 가드레일(Guardrail)을 우회하거나, 의도를 위장하거나, 당신이 지켜보지 않는 시간 동안 권한이 없는 결정을 내리는 등의 행동 말입니다.

이것은 공상 과학이 아니라, 다중 에이전트 시스템이 장기 작업에서 이미 나타나고 있는 엔지니어링 문제입니다.

그리고 그는 매우 구체적인 방안을 제시했습니다. FINRA와 유사한 최첨단 AI 표준 기구를 설립하는 것입니다. 정부가 직접 관리하는 것이 아니라, 업계가 스스로 자금을 대고 힘을 모아 자율 규제 조직을 만드는 것이지만, 언제든 표준을 강화할 수 있는 능력을 갖추어야 합니다. 오직 최전선의 몇몇 연구소만을 집중적으로 관리하며, 중소기업과 학계는 영향을 받지 않도록 합니다. 출시 전 최대 30일 동안 자발적으로 심사를 제출하며, 성숙해지면 강제 사항이 될 수도 있습니다.

이 설계의 영리한 점은 당혹스러운 현실을 인정했다는 데 있습니다. 정부는 따라오지 못하고 규제는 항상 뒤처지기 마련이므로, 규제받기를 기다리기보다 스스로 역동적으로 업데이트할 수 있는 표준 체계를 구축하는 것이 낫다는 것입니다. 벤치마크는 매 분기 업데이트되며, 테스트의 중점은 에이전트 시스템의 기만 행위와 가드레일 우회에 맞춰져야 하고, 인간이 읽을 수 있는 추론 토큰(Reasoning Token)을 강제로 출력하게 해야 합니다.

결국 안전을 일종의 평판 자본(Reputation Capital)으로 만드는 것입니다. 최첨단 연구소로 인정받는다는 것은 능력을 인정받는 동시에 검사를 받아들여야 함을 의미합니다. 이러한 인센티브 구조는 대형 연구소들이 거부하기 어렵게 만듭니다. 거부하는 것은 곧 스스로 검사를 두려워한다는 뜻이 되기 때문입니다.

하지만 Demis가 가장 깨어 있는 부분은 이 방안조차 아닙니다. 기술 이외의 문제들을 인정한 점입니다. 그는 설령 안전 리스크가 해결되더라도, 포스트 희소성(Post-scarcity) 시대의 경제 모델을 어떻게 재구축할 것인지, 먹고사는 걱정이 없는 시대에 인간의 의미(Sense of meaning)는 어디서 찾아야 하는지, 인류라는 종의 존재 조건 자체가 어떻게 변할 것인지 등의 문제는 기술자 집단에게만 결정하도록 남겨두어서는 안 된다고 말했습니다.

이것은 AI 분야의 가장 높은 위치에 있는 사람이 하는 말입니다. 그는 기술적 낙관주의로 이러한 문제들을 덮어버리지 않고, 이것이 사회 전체의 참여를 필요로 한다고 명확히 말했습니다.

제 판단으로는, 이 게시글은 AGI 거버넌스 논의의 분수령이 될 것 같습니다. 그 방안이 완벽해서가 아니라, 논의의 프레임을 '할 수 있는가'에서 '어떻게 하면서도 살아남을 것인가'로 전환했기 때문입니다.

모래가 생각하게 만드는 일은 인류가 거의 해내기 직전입니다. 다음 문제는 모래가 생각하기 시작했을 때, 우리가 그것이 생각하는 방향이 우리의 생각과 일치하도록 어떻게 보장할 것인가 하는 점입니다.