Arbiter Agent: 창발적 정렬 불일치(Emergent Misalignment)를 탐지하기 위한 다중 에이전트 대화의 지속적 모니터링

여러 언어 모델 에이전트(language-model agents)로 구축된 AI 시스템이 보편화됨에 따라, 이들은 함께 토론하고, 협상하며, 공유된 과업에 따라 행동하는 등 공동의 의사결정을 내리는 데 점점 더 많이 사용되고 있습니다. 개별 에이전트들은 단독으로 테스트했을 때는 정렬(aligned)이 잘 된 것처럼 보일 수 있지만, 에이전트들이 서로 상호작용하는 방식에서 문제가 발생할 수 있습니다. 우리는 다중 에이전트 대화(multi-agent conversations)를 실시간으로 모니터링하고, 어떤 참여자가 정렬되지 않은(misaligned) 방식으로 행동할 수 있는지 식별하도록 설계된 에이전트인 Arbiter를 소개합니다. Arbiter는 제한된 "검사 예산(inspection budget)" 하에서 작동하며, 이는 자원을 어떻게 사용할지 신중하게 결정해야 함을 의미합니다. 대화를 단계별로 관찰하면서, Arbiter는 대기하거나, 참여자에게 질문을 던지거나, 시스템 프롬프트(system prompts) 또는 추론 흔적(reasoning traces)과 같은 내부 정보를 조사하거나, 우려되는 행동을 기록(log)하는 것을 선택할 수 있습니다. 마지막으로, Arbiter는 정렬 불일치의 발생 가능성이 높은 근원을 식별하는 보고서를 생성합니다. 우리는 위험한 금융 조언 모델 유기체(model organisms)부터 평가 인지(evaluation-aware) 및 공모(colluding) 에이전트에 이르기까지 다섯 가지 대화 조건에서 Arbiter를 평가하였으며, 능력이 점진적으로 증가하는 다섯 가지 도구 구성과 두 가지 백본 모델(backbone models)을 테스트했습니다. 연구 결과, Arbiter는 대화가 끝나기 훨씬 전에 정렬되지 않은 에이전트를 안정적으로 탐지하며, 능동적인 검사 도구(active inspection tools)가 탐지 정확도와 속도를 모두 향상시킨다는 것을 발견했습니다. 가중치 유발 정렬 불일치(Weight-induced misalignment)는 탐지하기 가장 어려운 것으로 증명된 반면, 지시 유발 정렬 불일치(instruction-induced misalignment)는 수동적 관찰(passive observation) 하에서도 안정적으로 식별되었습니다. 기록(logging) 도구는 정밀도(precision)를 희생하는 대신 재현율(recall)을 높이는 이중적인 효과를 보였습니다. 이러한 결과는 지속적이고 예산을 고려한 모니터링이 정렬 불일치를 효과적으로 포착할 수 있음을 시사하며, 다중 에이전트 시스템을 감독하기 위해서는 감사자(auditor)를 프로세스의 능동적인 참여자로 취급해야 할 수도 있음을 보여줍니다. 코드는 https://github.com/aisilab/arbiter 에서 확인할 수 있습니다.