멀티 에이전트(Multi-Agent) 세상을 위한 AI 안전 연구 확장

지난 10년 동안 우리는 개별 AI 모델을 더 유능하고, 도움이 되며, 안전하게 만드는 데 집중해 왔습니다. 이제 Google DeepMind는 Schmidt Sciences, Cooperative AI Foundation, Advanced Research and Invention Agency와 함께 Google.org의 지원을 받아 전 세계 연구자들을 대상으로 최대 1,000만 달러 규모의 새로운 기술 연구 자금 지원 공고를 발표했습니다.

AI 기술이 확장됨에 따라 우리는 새로운 시대에 진입하고 있습니다. 곧 서로 다른 조직에서 구축된 수백만 개의 AI 에이전트(AI agents)들이 디지털 환경 전반에서 상호작용하며 서로 소통하고, 협상하며, 거래하게 될 것입니다.

이러한 시스템들이 상호작용할 때는 반드시 안전하고 예측 가능한 방식으로 이루어져야 합니다. 이러한 변화는 중요한 기회를 창출합니다. 우리는 시작 단계부터 전체 AI 생태계의 안전성과 안정성을 강화할 수 있습니다.

이번 자금 지원 공고는 대규모 멀티 에이전트(Multi-agent) AI 시스템이 집단으로서 어떻게 행동하는지, 그리고 잠재적 위험을 이해하고 완화하기 위한 프레임워크를 어떻게 제공할 수 있는지에 대한 연구에 초점을 맞추고 있습니다. 전 세계 연구자들에게 권한을 부여함으로써, 우리는 독립적인 시스템들이 서로 다른 네트워크를 통해 상호작용할 때 발생하는 "보이지 않는" 안전 위험을 해결하고자 합니다.

에이전트 생태계가 중요한 이유

대규모 AI 에이전트 집단이 상호작용할 때, 새로운 집단적 행동과 능력이 갑작스럽게 나타날 수 있습니다. 현재 우리는 이러한 전환을 예측, 측정 및 모니터링할 수 있는 도구가 부족합니다. 대부분의 안전 평가(safety evaluations)는 모델을 고립된 상태에서 분석합니다. 그러나 우리와 다른 이들이 이전에 주장했듯이, 상호작용하는 자율 에이전트(autonomous agents)는 예측하기 어려운 복잡한 "창발적(emergent)" 행동을 생성할 수 있습니다.

이 분야는 새로운 연구 영역이기 때문에, 이러한 변화가 어떻게 발생하는지 이해하는 것이 매우 중요합니다. 예를 들어, 이들이 예측 불가능한 경제 활동의 급증을 초래할 수 있을까요, 아니면 새로운 보안 과제를 야기할까요? 이러한 시스템 전반의 행동(system-wide behaviors)을 관리하는 방법을 이해하는 것이 우리의 핵심 목표입니다.

멀티 에이전트(multi-agent) 안전 연구의 프런티어 확장

멀티 에이전트 안전을 위한 기초적인 프레임워크(foundational frameworks)가 존재하기는 하지만, 이러한 시스템의 급격한 진화는 즉각적이고 대규모인 연구 확장을 요구합니다.

우리의 2025년 연구는 이러한 상호작용을 이해하기 위한 프레임워크를 구축했으며, 최근 AI 에이전트 함정 (AI Agent Traps)에 관한 연구는 에이전트가 적대적 환경(adversarial environments)에서 직면하는 취약성을 탐구합니다. 이제 우리는 더 빠르게 움직여야 합니다. 우리는 멀티 에이전트 상호작용의 복잡성이 기존의 안전 모델(safety models)을 앞지르고 있는 중대한 기로에 서 있습니다.

이번 자금 지원 공고는 독립적인 연구자들의 글로벌 네트워크를 지원함으로써 진보를 가속화하는 것을 목표로 합니다. 안전 표준이 모두에게 투명하고 견고하도록 보장하기 위해서는 다양한 커뮤니티가 필수적입니다.

또한, 이 노력은 프런티어 AI 시스템의 위험을 이해하고 완화하는 기초 연구를 지원하는 Schmidt Sciences의 Science of Trustworthy AI 및 AI Agents 프로그램과, 새로운 형태의 사이버-물리(cyber-physical) 멀티 에이전트 협업을 실현하고자 하는 ARIA의 Scaling Trust 프로그램의 미션을 진전시킵니다.

협력을 위한 행동 촉구

어떠한 단일 연구소도 멀티 에이전트 안전 문제를 혼자서 해결할 수 없습니다. 우리는 학계 및 독립 연구자들이 다음 네 가지 우선순위 분야에 대한 제안서를 제출하도록 초대합니다:

• 샌드박스 및 테스트베드 (Sandboxes and testbeds): 멀티 에이전트 안전의 모든 영역에 걸쳐 진전을 평가, 비교 및 가속화할 수 있는 현실적이고 재현 가능한 환경을 구축합니다. 여기에는 가상 시장 (virtual marketplaces), 시뮬레이션된 생태계 (simulated ecosystems) 및 다중 조직 워크플로 (multi-organisation workflows)가 포함됩니다.
• 에이전트 네트워크 과학 (The science of agent networks): 상호작용하는 에이전트 집단의 안전 관련 특성을 이해합니다. 여기에는 집단적 역량이 어떻게 창발 (emerge)하고 확장되는지, 네트워크가 어떻게 실패하거나 불안정해지는지, 그리고 위험하고 예상치 못한 집단 수준의 특성을 어떻게 탐지할 것인지에 대한 조사가 포함됩니다.
• 에이전트 인프라 강화 (Strengthening agent infrastructure): 플랫폼을 넘나드는 안전한 에이전트 상호작용을 보장하는 신원 (identity), 평판 (reputation) 및 약속 (commitment) 프로토콜에 대한 스트레스 테스트 (stress-testing)를 수행합니다.
• 감시 및 제어 (Oversight and control): 배포된 에이전트 집단을 모니터링하고 대규모의 집단적 위해를 완화하기 위한 방법을 개발합니다.

참여 방법

연구자분들이 제안서 모집 공고를 검토하고, 멀티 에이전트 미래를 위한 안전한 토대를 구축하는 데 동참해 주시기를 초대합니다.

지원 마감일은 2026년 8월 8일이며, 선정 결과는 2026년 가을에 발표될 예정입니다.

기술적 요구 사항 및 지원 절차에 대한 자세한 내용은 지원 포털을 방문하여 확인하십시오.