다중 에이전트 AI 안전 연구에 대한 투자

AI 안전 연구의 규모 확장: 다중 에이전트 세계를 향하여

지난 10년간 우리는 개별 AI 모델을 더욱 유능하고, 도움이 되며, 안전하게 만드는 데 집중해 왔습니다. 오늘 Google DeepMind는 Schmidt Sciences, Cooperative AI Foundation, Advanced Research and Invention Agency와 협력하고 Google.org의 지원을 받아 전 세계 연구자들을 대상으로 최대 $10M 규모의 새로운 기술 연구 펀딩 콜을 발표합니다.

AI 기술이 확장됨에 따라 우리는 새로운 시대로 진입하고 있습니다. 곧 수백만 개의 AI 에이전트가 서로 다른 조직들에 의해 구축되어 디지털 환경 전반에서 상호작용하며, 통신하고, 협상하고, 거래하게 될 것입니다.

이러한 시스템들이 상호작용할 때, 안전하고 예측 가능하게 작동해야 합니다. 이러한 변화는 중요한 기회를 창출합니다. 바로 처음부터 전체 AI 생태계의 안전성과 안정성을 강화할 수 있다는 점입니다.

이번 펀딩 콜은 대규모 다중 에이전트 AI 시스템이 그룹으로서 어떻게 행동하는지, 그리고 잠재적인 위험을 이해하고 완화하기 위한 프레임워크를 어떻게 제공할 수 있는지에 초점을 맞춥니다. 전 세계 연구자들에게 역량을 부여함으로써, 우리는 서로 다른 네트워크에서 독립적인 시스템들이 상호작용할 때 발생하는 '보이지 않는' 안전 위험들을 해결하는 것을 목표로 합니다.

에이전트 생태계가 중요한 이유

대규모 AI 에이전트 그룹이 상호작용할 때, 새로운 집단적 행동과 능력이 갑자기 나타날 수 있습니다. 현재 우리는 이러한 전환을 예측하고 측정하며 모니터링할 도구가 부족합니다. 대부분의 안전 평가는 모델들을 개별적으로 분석합니다. 하지만 우리와 다른 연구자들이 이전에 주장했듯이, 상호작용하는 자율 에이전트들은 예상하기 어려운 복잡한 '창발적(emergent)' 행동을 만들어낼 수 있습니다.

이것은 새로운 연구 분야이기 때문에, 이러한 변화가 어떻게 발생하는지 이해하는 것이 매우 중요합니다. 예를 들어, 예측할 수 없는 경제 활동의 급증을 유발하거나 새로운 보안 문제를 야기할 수도 있을까요? 이러한 시스템 전반적인 행동들을 관리하는 방법을 이해하는 것이 우리의 핵심 목표입니다.

다중 에이전트 안전 연구의 최전선 확장하기

다중 에이전트 안전 연구의 최전선 확장하기

기초적인 다중 에이전트 안전 프레임워크가 존재하지만, 이러한 시스템의 급속한 발전은 즉각적이고 대규모의 연구 확장을 필요로 합니다.

저희는 2025년 연구를 통해 이러한 상호작용을 이해하는 프레임워크를 구축했으며, 최근 AI Agent Traps에 대한 작업에서는 에이전트가 적대적인 환경에서 직면하는 취약점을 탐구했습니다. 이제 우리는 더 빠르게 움직여야 합니다. 다중 에이전트 상호작용의 복잡성이 기존 안전 모델을 앞지르고 있는 중요한 시점에 와 있습니다.

이번 펀딩 콜은 독립 연구자들의 글로벌 네트워크를 지원함으로써 진전을 가속화하는 것을 목표로 합니다. 다양한 커뮤니티는 모든 사람에게 안전 표준이 투명하고 견고하도록 보장하는 데 필수적입니다.

또한 이 노력은 Schmidt Sciences의 Science of Trustworthy AI 및 AI Agents 프로그램, 그리고 ARIA의 Scaling Trust 프로그램을 통해 미션을 진전시키는데, 이 프로그램들은 최첨단(frontier) AI 시스템으로부터 위험을 이해하고 완화하기 위한 기초 연구와 새로운 형태의 사이버-물리적 다중 에이전트 협응(coordination) 방식을 열어내는 것을 목표로 합니다.

협력적인 행동 촉구

어떤 단일 연구실도 다중 에이전트 안전 문제를 혼자 해결할 수 없습니다. 저희는 학계 및 독립 연구자들이 네 가지 우선순위 영역에 대한 제안서를 제출하도록 초대합니다:

샌드박스와 테스트베드: 모든 다중 에이전트 안전 영역 전반에 걸쳐 평가하고 비교하며 발전을 가속화하기 위한 현실적이고 재현 가능한 환경 구축. 여기에는 가상 마켓플레이스, 시뮬레이션된 생태계 및 다기관 워크플로우가 포함됩니다.에이전트 네트워크의 과학: 상호작용하는 에이전트 집단의 안전 관련 속성 이해. 여기에는 집단 역량(collective capabilities)이 어떻게 나타나고 확장되는지, 네트워크가 어떻게 실패하거나 불안정해지는지, 그리고 위험하고 예상치 못한 개체 수준의 속성을 어떻게 감지할 수 있는지에 대한 조사가 포함됩니다.에이전트 인프라 강화: 크로스 플랫폼 에이전트 상호작용을 안전하게 유지하기 위한 신원(identity), 평판(reputation), 약속(commitment) 프로토콜 스트레스 테스트.감독 및 제어: 배포된 에이전트 집단을 모니터링하고 대규모로 발생하는 집단적 피해를 완화하는 방법을 개발합니다.## 참여 방법

연구자 여러분께서는 저희의 제안 요청(call for proposals)을 검토하시고, 다중 에이전트 미래를 위한 안전한 기반 구축에 동참해 주시기를 초대합니다.

신청 마감일은 2026년 8월 8일이며, 수상자는 2026년 가을에 발표될 예정입니다.

기술적 요구 사항 및 신청 절차에 대한 자세한 내용은 저희의 신청 포털을 방문해 주십시오.