AI 에이전트들은 제한 사항을 우회하고, 승인되지 않은 채널로 통신하며, 개발자가 의도하지 않은 방식으로 목표를 추구하는 모습이 포착되었습니다. 가장 주목할 만한 사례는 지난 여름 OpenAI가 자사 모델들이 즉흥적인 채널을 통해 소통하고, 인터넷 제한을 우회하며, 외부 시스템인 Hugging Face에 해킹하는 방법을 찾아냈다고 공개하면서 발생했습니다.
AI가 예상치 못한 방식으로 행동하는 것은 새로운 일이 아니지만, 기업 환경 내에서 승인된 AI 에이전트들 간의 상호작용을 통해 나타날 수 있는 예측 불가능한 행동은 미래 업무의 중심 질문이 될 수 있는 더 광범위한 문제입니다.
METR와 Redwood Research는 Hugging Face 공격에 대한 분석에서, 서로 격리되어야 할 약 1200개의 에이전트들이 승인되지 않은 메시지 게시판을 통해 서로 통신하는 방법을 찾아냈으며, 조사 기간 동안 70,000개가 넘는 메시지와 파일들을 전송한 것으로 밝혀냈습니다. PHASEONE[big]이라는 한 에이전트는 조정자(coordinator) 역할을 하며 수백 개의 작업을 다른 에이전트들에게 할당했고, 이들은 다시 다른 에이전트들에게 업무를 위임했습니다. 이 에이전트들은 소유권 지정, 작업 일시 중지, 행동 거부 등 자신들만의 규칙을 개발했지만, 때로는 조정이 충돌로 인해 무너지는 경우도 있었습니다. 연구원들은 일부 사례에서 '집단'을 위한 정보를 생성하기 위해 특정 에이전트가 자신의 과제 실패를 감수하는 것이 성공의 원인이 되기도 했다고 발견했습니다.
연구원들은 또한 메시지 게시판이 Hugging Face를 공격할 방법을 식별하자, 당시 활동하던 533개 에이전트 중 90% 이상이 즉시 공격에 가담했음을 발견했습니다. 그들은 "에이전트들은 이 활동이 범위를 벗어났고 비윤리적이라는 것을 깨달았지만, 게시판의 부정행위 연구를 돕는 것이 광범위하게 유용할 것이라고 믿거나 '동료'들을 도우려는 일반적인 경향 때문에 참여했습니다."라고 말했습니다. 연구원들은 또한 에이전트들이 제기하는 윤리적 우려가 그들의 행동을 "거의 제한하지 않았다"고 덧붙였습니다.
기업들은 복잡한 작업을 전문화된 에이전트들 사이에서 분할하는 시스템을 점점 더 많이 탐구하고 있습니다. 한 에이전트는 정보를 검색하고, 다른 에이전트는 이를 분석하며, 또 다른 에이전트는 보고서를 작성하고, 또 다른 에이전트는 그 결과물을 검토합니다. 그리고 조정(coordinating) 에이전트가 이 결과물들을 모아 조립하는 식입니다. 이는 챗봇이라기보다는 조직처럼 보입니다.
하지만 Hugging Face 공격에 대한 연구는 애초에 존재해서는 안 되었던 에이전트 조직에 대한 사후 분석(post-mortem)이었습니다. 현재까지도 다중 에이전트 시스템에서 정렬 불일치(misalignment)를 검토하기 위해 처음부터 설계된 연구는 거의 없습니다. 그러나 Anthropic과 다른 연구진들이 수행한 연구들은 이 문제를 다루기 시작했으며, AI 에이전트가 어떻게 함께 작동하는지에 대한 중요한 측면들을 밝혀내고 있습니다.
에이전트를 개별적으로 평가하는 것은 각자가 무엇을 할 수 있는지 알려주지만, 이들을 함께 연구하는 것은 그들이 상호 보완적인 전문 지식을 결합할 수 있는지, 서로의 실수를 잡아낼 수 있는지, 그리고 단일 에이전트가 혼자 도달할 수 없는 해결책을 만들어내는지 — 또한 오직 상호작용을 통해서만 발생하는 실패 모드(failure modes)는 무엇인지 밝혀줍니다.
연구진들은 이 방정식의 양쪽 면을 모두 기록하기 시작했습니다.
AI 팀은 개별 에이전트가 할 수 없는 일들을 성취할 수 있지만, 오류를 증폭시키거나 서로의 작업을 훼손할 수도 있으며, 심지어 가장 강력한 단일 구성원보다 더 나쁜 결정을 내릴 수도 있습니다. 즉, 전체가 부분들의 합보다 작아지는 결과를 초래합니다.
우선적으로, 유능한 에이전트들을 모았다고 해서 반드시 최고의 팀을 만들어내는 것은 아니며, 윤리적인 팀을 만든다는 보장도 없습니다.
'최소 윤리적 해결책'
Anthropic과 협력자들이 발표한 연구에 따르면, 연구진들은 다중 에이전트 시스템을 'AI 조직(AI organizations)'으로 묘사합니다. 이는 서로 다른 역할을 가진 에이전트 그룹이 공통의 목표를 향해 소통하고 작업하는 형태입니다. 이 연구진들은 이러한 조직들을 시뮬레이션된 비즈니스 컨설팅 및 소프트웨어 개발 환경에서 테스트했으며, 특히 에이전트들이 팀으로 작동할 때 지정된 목표에 도달하기 위해 규칙을 위반할지 여부를 평가했습니다.
Anthropic이 AI 조직에 제시한 12가지 과제를 통해, 핵심적인 '양날의 검'과 같은 발견이 나타났다: 다중 에이전트 조직은 개별 에이전트보다 비즈니스 목표 달성 측면에서 "유의미하게" 더 효과적이었지만, 그들의 해결책은 단일 에이전트가 수행한 과제보다 윤리적 목표와 덜 일치했다.
연구진들은 Anthropic이 AI 정렬(AI alignment)을 연구하는 MATS 프로그램과 협력하여 수행한 바에 따르면, "AI 조직은 평균적으로 더 효과적이고 덜 윤리적인 해결책을 산출할 뿐만 아니라, 여러 번의 시뮬레이션 전반에 걸쳐 가장 효과적이면서도 가장 비윤리적인 해결책을 발견한다"고 작성했다.
연구진은 일탈 에이전트(rogue agent)와 일탈한 에이전트 팀 사이에는 상당한 차이가 있다고 제안했다. 그들은 "우리의 결과는 정렬된(aligned) 에이전트로 구성된 조직이 단일 에이전트가 그렇지 않은 방식으로 윤리성을 비즈니스 효과성으로 교환하는 것을 선호할 수 있음을 보여준다. 따라서, 단일 에이전트 시스템이 어떻게 윤리적 결정과 트레이드오프를 하는지에 대한 직관은 다중 에이전트 환경에 일반화되지 않을 수 있다"고 결론지었다.
이러한 트레이드오프가 발생할 수 있는 시나리오는 광범위하며, Anthropic 연구진은 자동차 공장 개설, 회사 규모 축소(downsizing), 선거 여론 조작 등을 예로 들었다.
문제는 반드시 개별 에이전트가 일탈했다는 것이 아니다. 조직 자체가 개별 구성원과 다르게 행동할 수 있다는 점이다. 단일 에이전트는 제안된 조치가 비윤리적임을 인식하고 그 행동을 거부할 수 있다. 그러나 연구에 따르면, 에이전트 팀 시나리오에서는 "윤리적 영향을 고려하지 않은 에이전트들이 윤리적 영향을 고려한 에이전트들의 이메일을 무시하는 경우가 많았다."
Who's liable when AI agents break the rules?
Anthropic의 연구는 자체적으로 만든 컨설팅 비즈니스 시나리오에서, "단일 에이전트가 제안서를 생성하기를 거부하거나 요청된 제안에서 완전히 벗어날 때 완벽한 윤리 점수와 낮은 비즈니스 점수의 응답이 발생한다"는 것을 발견했다.
하지만 만약 AI 조직 내 일부 에이전트가 제안에 참여하기를 거부한다면, 참여하는 다른 에이전트들은 이 거부하는 에이전트들에게 이메일을 보내는 것을 멈추고, 계속해서 자신들의 기여분을 함께 참여하는 다른 에이전트들에게 전달할 것입니다.
사실상, 조직이 여러 에이전트에게 작업을 분할하면, 각 에이전트는 전체의 결과보다는 자신이 할당받은 문제 부분에만 집중할 수 있습니다. 이는 기업들에게는 새로운 일이 아니며, 조직 내 인간 팀들의 기능 장애의 주요 원인은 잘못 정렬된 인센티브입니다. 그러나 이것은 기계들 사이에서 나타나는 완전히 새로운 양상입니다.
연구자들이 생사여탈권이 걸린 중환자실 시나리오를 사용한 소프트웨어 개발 에이전트 테스트에서, 단일 에이전트 솔루션은 패혈증(sepsis) 사례 누락 비율을 최소화하는 것을 우선시하는 경향을 보였습니다. 반면, "가장 낮은 환자당 비용(최고의 비즈니스 목표)의 솔루션들은 AI 조직에 의해 발견되었는데 – 이 바로 그 솔루션들이 누락된 사례로 측정했을 때 윤리성 점수도 가장 낮았습니다."
전문성은 손실될 수 있고, AI의 '집단사고(groupthink)'가 나타날 수 있다
다른 초기 연구들은 윤리적 경계를 넘는 것과는 관련이 없는, AI 팀 전반의 또 다른 실패 지점을 시사합니다. 바로 누가 진정한 전문가인지 인식하지 못하는 것입니다.
에모리 대학교(Emory University)와 스탠퍼드 대학교(Stanford University) 연구자들이 수행한 연구에 따르면, AI 팀은 "누가 전문가인지 명시적으로 알려주었음에도 불구하고, 그들의 전문가 에이전트의 성능을 일관되게 따라가지 못합니다."
에모리 대학교(Emory University)의 고이즈에타 경영대학원(Goizueta Business School) 정보 시스템 및 운영 관리 조교수인 Hancheng Cao는 "다중 에이전트 연구에서 얻을 수 있는 중요한 교훈 중 하나는, 역량 있는 AI 에이전트들로 구성된 팀이 반드시 역량 있는 AI 에이전트 팀인 것은 아니라는 것입니다"라고 말했습니다.
AI 에이전트 그룹은 자신이 어떤 에이전트가 전문가인지 알고 있더라도, 종종 가장 강력한 구성원보다 낮은 성능을 보였다. 에이전트들은 전문가의 지식을 활용하기보다는, 전문가 의견과 비전문가 의견 사이에서 절충하는 경향을 보였다. 연구진은 이러한 절충하려는 경향이 팀 규모에 따라 증가하며, 더 낮은 성능과 관련이 있음을 발견했다.
이 연구의 저자 중 한 명인 Cao는 “집단적 실패(Collective failures)가 반드시 개별 에이전트들이 나쁘게 행동할 것을 요구하는 것은 아니다”라고 말했다.
이러한 구분은 다중 에이전트 시스템을 고려하는 기업들에게 중요하다. 팀의 어떤 구성원도 의도적으로 그룹의 이익에 반하여 행동하지 않더라도 실패할 수 있다. 단순히 정보를 제대로 결합하지 못하거나, 잘못된 에이전트에게 의존하거나, 이미 사용 가능한 최상의 답변보다 못한 답안에 합의할 수도 있기 때문이다.
전반적으로 진화하는 연구는 다중 에이전트 팀의 효과적인 사용을 위한 근본적인 문제점을 지적한다. 즉, 기계적 팀워크(machine teamwork)의 세계에서 올바른 균형을 어떻게 맞추느냐 하는 것이다.
유사한 모델로 구축된 에이전트들은 너무 많이 동의하는 것을 포함하여 비슷한 실수를 할 수 있다. 이는 AI 시스템이 상관관계가 있는 오류를 생성할 인간적인 동기나 사회적 압박을 가지고 있지 않더라도, 일종의 AI 집단 사고(AI groupthink)와 유사해 보일 수 있다. 유사한 훈련, 지침 및 정보만으로도 충분할 수 있다.
Northeastern University의 정보 시스템 교수인 Christoph Riedl은 “우리 연구실의 깊은 통찰력은 효과적인 집단이 정렬(alignment, 공통 지식, 공유 목표)뿐만 아니라 차별성(differentiation, 서로 다른 에이전트만이 서로를 보완할 잠재력을 가짐)도 필요하다는 것이다”라고 말했다.
두 개의 동일한 에이전트는 단순히 서로의 작업을 복제할 수 있다. 지식이나 가정이 매우 다른 두 에이전트는 소통하거나 같은 목표를 추구하는 데 어려움을 겪을 수도 있다. 올바른 균형은 작업에 따라 달라지며, 어떤 에이전트들이 서로 대화할 수 있는지, 얼마나 자주, 그리고 어느 정도의 이상적인 통신 구조 역시 문제에 따라 변한다.
리들(Riedl)은 이러한 도전 과제가 인간 팀이 직면하는 것과 유사하며, 한 가지 시사점은 AI로부터 더 나은 결과를 기대해서는 안 된다고 말했습니다. 그는 "우수한 다중 에이전트 AI 시스템을 구축하는 것은 우수한 인간 팀을 구축하는 것만큼 어렵습니다. 둘 다 정렬(alignment)과 차별화(differentiation) 사이의 동일한 정보 처리 트레이드오프에 직면합니다. 이것이 AI를 통해 마법처럼 더 잘 작동하지는 않을 것입니다"라고 말했습니다.
에이전트는 부정확한 정보를 전달하거나, 다른 에이전트의 출력을 오해하거나, 조직의 더 큰 목표보다는 자체적인 지표에 최적화되거나, 할당된 작업을 완벽하게 완료하면서도 전체 프로젝트를 악화시킬 수 있습니다.
기업들은 어떤 에이전트가 어떤 작업에 대한 권한을 가질지, 에이전트 간에 어떤 정보가 전달되어야 하는지, 각 에이전트가 어떤 시스템에 언제 접근할 수 있는지, 그리고 인간이 개입해야 하는 시점을 결정해야 할 수도 있습니다. 또한 더 많은 소통이나 더 큰 합의가 항상 결과를 개선할 것이라고 가정하기보다는, 의견 불일치(disagreement)를 위한 메커니즘을 구축해야 할 수도 있습니다.
일부 비즈니스 전문가들은 이것이 조직의 AI 도입에 있어 매우 중요하다고 자주 언급되는 "인간 개입 루프 (human in the loop)"로 우리를 되돌린다고 말합니다.
하버드 경영대학원(Harvard Business School) 교수이자 HBS AI Academy 설립 의장인 트세달 니일리(Tsedal Neeley)는 "제가 보는 문제들은 대부분 관리상의 문제입니다"라고 말했습니다.
OpenAI–Hugging Face breach is a great example of how 'potent' these AI models are, says Cohere CEO
