구글 딥마인드의 데미스 허사비스가 작성한 아티클, 전문 번역 입니다. 제미나이 3.5 Pro 가 일부 유출된 벤치 결과 만큼이나 센세이션을 불러일으킬 지 기대가 되며, 저 역시 그의 말대로 AGI가 다가오고 있음을 깊이 느끼고 있습니다.

"지금은 인류 역사에 있어 매우 중대한 전환점입니다. 뇌가 가진 모든 인지 능력을 발휘하는 시스템인 범용 인공지능(AGI)의 등장이 아마 불과 몇 년밖에 남지 않았을 것입니다. 수십 년 후 지금 이 시기를 되돌아본다면, 우리가 특이점의 초입에 서 있었다는 사실을 깨닫게 될 것입니다. 이는 인류에게 있어 진정 새로운 시대의 서막과도 같습니다.

저는 평생을 AGI 연구에 매진해 왔습니다. 책임감 있게 구축되고 도입되기만 한다면, AGI가 인류 역사상 가장 유익하고 혁신적인 기술이 될 것이라는 깊은 확신이 있었기 때문입니다. AGI는 일반적인 기술적 돌파구와는 차원이 다릅니다. 인터넷이나 모바일처럼 중대한 변화조차 비할 바가 못 되며, 오히려 전기나 불의 발견에 훨씬 더 가깝습니다. 가만히 생각해보면, 우리는 본질적으로 모래가 생각하게 만드는 방법을 찾아낸 셈입니다. 기적 같은 일이죠.

이 기술이 미칠 영향력의 규모는 전례 없는 수준일 것이며, 아마도 산업혁명보다 10배 더 큰 파급력을 10배 더 빠른 속도로 가져올 것입니다. 이는 신약 개발 가속화부터 새로운 청정 에너지원 개발, 혁신적인 첨단 소재 창조에 이르기까지 우리 사회가 직면한 가장 큰 문제들을 해결하는 데 도움이 될 것입니다. 더 나아가 자원이 더 이상 인류 발전의 제약 요인이 되지 않는 지점에 도달하여, 놀라운 풍요의 새 시대를 맞이하게 될 수도 있습니다.

프런티어의 도전 과제들

AI는 이미 실질적인 혜택을 제공하기 시작했지만, 그 엄청난 잠재력을 실현하려면 이 중요한 개발 시기를 신중하고 세심하게 헤쳐 나가야 합니다. AGI에 가까워질수록 발생할 수 있는 위험에 대응하기 위해 시급한 조치가 필요합니다. 우리는 이미 프런티어 모델이 사이버 보안에 미치는 위협을 목격했으며, 역량이 계속 발전함에 따라 핵 및 바이오 위험을 포함한 다른 위협들도 곧 나타날 수 있습니다. 앞으로는 점점 더 에이전트화되고 재귀적으로 자기 개선을 반복하는 시스템을 통제하기 위한 강력한 안전장치가 필요하며, 시간이 흐르면서 명확해질 미지의 문제들도 해결해 나가야 합니다.

저는 인간의 독창성과 창의성이 그 어떤 문제도 해결할 수 있다는 힘을 항상 믿어왔습니다. AI와 관련된 기술적 위험을 완화하는 것은 우리가 함께 해결할 수 있는 과제라고 확신하지만, 이는 오직 우리가 이 다음의 중요한 단계를 제대로 밟을 수 있는 시간과 여유를 가질 때만 가능합니다. 현재 우리 분야와 사회 전체는 그렇게 하지 못하고 있습니다.

현재 우리는 매우 치열하고 다층적인 상업적, 지정학적 경쟁에 갇혀 있습니다. 이러한 경쟁 구도는 빠른 발전을 촉진하고 엄청난 긍정적 효과를 가속화하지만, 프런티어 영역의 진보는 기술에 대한 우리의 이해를 앞지르고 있습니다. 앞으로 어떤 일이 벌어질지 세상 그 누구도 확실히 알지 못하며, 전문가들 사이에서도 의견이 갈립니다. 불확실성이 크고 위험 부담이 이토록 높은 상황에서는 신중한 낙관론을 가지고 나아가는 것이 합리적이고 올바른 전략입니다. 이를 위해서는 혁신을 장려하는 동시에 책임감과 보안에 인센티브를 부여하고, 핵심 안전 문제에 대한 국제적 협력을 도모하며, 사회적 이익을 위한 AI 도입 방식을 신중하게 고민하도록 유도하는 공공 정책이 필요합니다.

프런티어 AI 표준 기구(Frontier AI Standards Body)를 위한 프레임워크

AI 분야에서 목격되고 있는 급격한 발전은 역동적이고 유연하며 엄격한 새로운 방식의 프런티어 AI 모델 역량 테스트 접근법을 요구합니다. 미국은 경제적, 기술적 위상을 고려할 때 이러한 프레임워크 개발의 첫걸음을 내딛기에 유리한 위치에 있습니다. 미국은 금융산업규제기구(FINRA)와 유사하게 연방 정부의 감독을 받는 민관 협력체 또는 자율 규제 기구를 모델로 한 새로운 표준 기구를 설립할 수 있으며, 이사회에는 독립적인 주요 기술 전문가와 오픈 소스 대표들이 포함되어야 합니다. 세계적인 수준의 기술 인재를 영입하고 대규모 테스트에 필요한 컴퓨팅 자원을 확보하기 위해서는 업계 중심의 상당한 규모의 자금 지원이 필요할 것입니다.

표준 기구는 평가 프로토콜을 개발하고, 관련 연방 기관 및 미국 국립 연구소와 협력하여 국가 안보 관련 분야의 테스트를 수행할 책임을 집니다. 특정 모델이 표준 기구에서 결정하고 진화하는 AI 역량에 맞춰 정기적으로 업데이트하는 벤치마크 기준을 충족할 경우 '프런티어급(Frontier-class)'으로 분류됩니다. 이러한 벤치마크에 따라 정의된 '프런티어 모델'을 보유한 조직은 '프런티어 랩(Frontier Labs)'으로 간주되며, 기술적 세부 사항이 담긴 모델 카드 게시, 강력한 내부 사이버 보안 유지, 핵심 인력 검증, 안전 및 보안 연구를 위한 충분한 자원 제공 등의 모범 사례를 채택하도록 권장됩니다.

초기에는 프런티어 랩(Frontier Labs)이 모델 출시 전 최대 30일 동안 표준 기구(Standards Body)에 모델을 자발적으로 공유하여 검토를 받게 됩니다. 평가 프로토콜의 효과와 견고함이 입증되면 곧바로 공식화될 수 있으며, 이는 프런티어 모델이 미국 시장에 배포되기 위해 해당 평가를 반드시 통과해야 함을 의미합니다. 또한 랩은 표준 기구와 협력하여 출시 후 발견되는 중대한 취약점들을 해결해 나갈 것입니다.

모델 평가는 사이버 보안, 생물학적 위협 및 기타 고위험 영역의 역량에 대한 엄격한 과학적 평가를 포함해야 합니다. 구체적인 에이전트형 AI 테스트를 통해 안전 가드레일 우회 시도나 기만 징후를 조사하고, AI 생성 이미지의 디지털 워터마킹 및 모델의 추론 과정을 이해하기 위한 인간 판독 가능 출력 토큰 생성과 같은 모범 사례를 준수하도록 해야 합니다.

이러한 평가는 정기적으로 업데이트되어야 하며, 초기에는 분기별로 실시하다가 노후화되거나 변별력을 잃은 벤치마크는 폐기하고 교체하는 방식이 될 것입니다. 처음에는 프런티어 랩(Frontier Labs)과의 협의를 통해 개발되겠지만, 궁극적으로 표준 기구는 오버피팅(overfitting)을 방지하기 위해 랩과는 독립적인 자체 테스트를 생성할 수 있는 기술적 역량을 갖춰야 합니다. 또한 미국 정부와 협력하여 새로운 벤치마크 및 평가 개발과 심사를 도울 제3자 감사 생태계를 활성화할 수 있을 것입니다.

이 접근 방식의 강점은 기술적 측면에 집중하면서도, 동시에 혁신을 지원하고 책임감 있는 행동을 장려한다는 점입니다. 이는 분야의 가속화에 발맞추고 확인된 중대 위험 요소에 적응하도록 설계되었으며, 상황의 심각성에 따라 필요시 프런티어 랩(Frontier Labs) 간의 개발 속도 조절을 조율하는 등 강도를 높일 수도 있습니다. 프런티어 랩으로 지정되는 것은 상당한 명성을 얻는 일이 될 것이며, 벤치마크 기준을 충족하는 모델을 구축하는 모든 조직에 열려 있습니다. 이 프레임워크는 국가나 오픈/클로즈드 여부와 관계없이 프런티어급 모델에 적용될 수 있지만, 스타트업이나 학계의 비프런티어 모델은 이 프로세스에서 제외됩니다.

미국이 주도하는 이번 노력은 프런티어 AI(Frontier AI)에 대한 공동의 국제 표준을 마련하는 강력한 출발점이 될 것입니다. 이 기술은 지구 전체에 영향을 미칠 것이기에, 이 프레임워크가 국제 사회의 합의를 이끌어내는 기폭제가 되기를 기대합니다. 이를 통해 가장 심각한 위험들을 관리하는 동시에, 모든 사람이 AI가 가져올 기회를 누리고 그 혜택을 받을 수 있도록 해야 합니다.

미래는 아직 쓰이지 않았다

AGI는 과학과 의학을 발전시키고, 막대한 생산성 향상과 경제 성장을 이끌어낼 궁극적인 도구가 될 잠재력을 가지고 있습니다. 하지만 이를 실현하기 위해서는 공유된 글로벌 프레임워크를 중심으로 협력하고, 가장 엄격한 과학적 방법을 사용하며, 우리가 직면한 과제들을 해결하기 위해 최고의 인재들을 모으는 등 기술적 토대를 올바르게 구축해야 합니다.

이러한 난해한 기술적 과제들을 해결한다 하더라도, 우리가 맞닥뜨릴 복잡한 경제적·철학적 질문들이 남아 있습니다. 결핍이 사라진 포스트 희소성(post-scarcity) 시대에 모두가 번영하기 위해 어떤 새로운 경제 모델이 필요할까요? 우리는 어떤 가치를 지키며 살아가고 싶어 할까요? 삶의 의미와 목적은 무엇이 될 것이며, 인간의 조건 그 자체는 어떻게 변화하게 될까요? 이러한 질문들에 답하는 것은 당연히 기술자들만의 몫이 될 수도, 되어서도 안 됩니다. 사회의 모든 구성원이 함께 모여 이 새로운 장을 정의해 나가야 합니다.

AI를 둘러싼 엄청난 기대와 불확실성이 공존하고 있으며, 두 가지 모두 타당한 반응입니다. 하지만 미래는 아직 정해지지 않았습니다. 우리는 AGI가 도래하기 전 이 소중한 기회의 시간을 활용해, 인류 전체에 이익이 되는 방향으로 이 기술을 형성해 나가야 합니다. 지금 우리가 함께 내리는 결정이 인류 문명의 다음 단계가 어떻게 펼쳐질지를 결정할 것입니다. AGI를 안전하게 세상에 안착시킴으로써, 우리는 과학적 발견과 진보의 새로운 황금기를 맞이하고 인류가 눈부시게 번영하는 밝은 미래를 열어갈 수 있습니다."