Dario Amodei가 AI의 미래 방향에 대해 솔직하게 쓴 에세이

Dario Amodei가 AI가 어디로 향하고 있는지에 대한 매우 솔직한 에세이를 발표했습니다.

따옴표와 함께 요약하자면 이렇습니다.

그의 새 글인 'Policy on the AI Exponential'은 마치 그 기술을 만드는 사람에게서 나온 경고문처럼 읽힙니다.

핵심 문제는 타이밍입니다. AI는 지수 함수적으로 움직입니다. 그는 이에 대해 매우 명확하게 말합니다. 법 제정 과정은 Tolkien의 Treebeard(나무 요정)처럼 느리게 진행됩니다. 너무 느려서 다른 나무에게 인사하는 데 하루가 걸릴 정도죠. Amodei는 의회가 행동에 나설 때쯤이면 AI가 '재미있는 장난감에서 전국의 천재들로' 변할 수 있다고 씁니다.

그의 시간표는 짧습니다. "만약 이러한 스케일링 법칙(scaling laws)이 단지 1~2년 더 지속된다면, 우리는 제가 강력한 AI(Powerful AI), 즉 '데이터센터에 있는 천재들의 나라'라고 부른 것을 얻을 가능성이 높습니다."

그리고 그는 증거가 이미 바뀌었다고 생각합니다. Claude Mythos Preview의 사이버 위험성을 지적하며, "그것이 가진 더 큰 중요성은 AI 모델들이 이제 글로벌 및 국가 전략적 결과(strategic consequence)를 갖는 도구임을 의심할 여지 없이 증명한다는 점입니다." 따라서 그는 FAA(미국 연방항공청)을 본뜬 구속력 있는 규칙을 원합니다. 최첨단 모델에 대한 의무적인 제3자 테스트, 안전하지 않다고 판단되는 출시를 차단하거나 되돌릴 수 있는 정부의 권한 등 말이죠. 이는 자신의 모델이 막힐 수도 있는 사람이 주장하는 내용입니다.

제가 계속 읽게 되는 부분은 이겁니다:

그는 경제학적 측면에서 진정으로 갈등하고 있습니다. 그가 묘사하는 장점(upside)은 엄청납니다: "만약 AI가 대부분의 인지 작업을 인간보다 훨씬 잘 수행할 수 있는 능력을 달성한다면, 과학, 기술 및 운영 효율성의 가속화를 통해 극도로 빠르고 강력한 경제 성장을 가져올 것이라는 추론이 가능합니다. 심지어 더 나은 AI를 구축하는 AI의 반복적인 능력은 그 성장을 더욱 부스트(supercharge)할 수 있습니다."

하지만 그는 반대편도 무시하지 않습니다: "모든 노력에도 불구하고, AI가 여전히 상당하고 지속적인 일자리 손실을 야기할 가능성이 있다는 것이 나쁘지 않으며, 이것이 기술과 인간의 인지 능력을 광범위하게 복제하는 방식에 내재된 속성일 수 있습니다." 그의 해결책은 UBI(기본소득)와 더 높은 자본 이득세까지 이어집니다.

권력에 대해 그는 AI가 잘못된 손에 들어갈 경우 '궁극적인 독재의 도구'가 될 수 있다고 경고한 뒤, 같은 의심을 자신의 산업계에도 돌립니다. 즉, AI는 '정부나 기업 어느 쪽에도 안전하게 완전히 맡겨질 수 없다'는 것입니다. Anthropic도 마찬가지입니다.

그리고 그는 대중의 두려움을 PR(홍보) 문제로 취급하기를 거부합니다.