SAGE: 에이전트 생태계에서의 사회적 진화에 대한 정량적 평가

자기 개선형 언어 에이전트(Self-improving language agents)는 일반적으로 고립된 상태에서 평가됩니다. 즉, 에이전트가 작업을 수행하고, 피드백을 받으며, 자신의 행동을 반복적으로 개선하는 방식입니다. 그러나 에이전트들은 점차 전략과 결과가 공개적으로 보이는 동료들과 함께 운영되는 환경에 놓이고 있습니다. 이는 아직 충분히 연구되지 않은 질문을 제기합니다. 즉, 공유된 경험이 자기 개선(self-improvement)만으로는 달성할 수 없는 개선을 언제 만들어내는가 하는 점입니다. 우리는 두 가지 연산량(compute)이 일치하는 조건을 비교하는 평가 프레임워크인 SAGE (Social Agent Group Evolution)를 소개합니다. 하나는 다섯 개의 서로 다른 모델 제품군(model families)에서 온 에이전트들이 모든 동료의 이력에 접근하여 공동 진화하는 SocialEvo이며, 다른 하나는 각 에이전트가 동일한 횟수의 작업 시도를 수행하지만 자기 개선 에이전트 연구의 관례에 따라 자신의 과거만을 보는 SelfEvo입니다. 우리는 SAGE를 개방형 ML 연구, 장기 경제 계획, 그리고 전략적 멀티플레이어 게임이라는 세 가지 영역에서 구현하여 여러 진화 라운드에 걸쳐 평가했습니다. 연구 결과, 그룹 이력이 보편적인 증폭기(amplifier)는 아니라는 것을 발견했습니다. 즉, 가장 강력한 에이전트가 자신의 자기 진화 한계치를 초과하지는 않았습니다. 그러나 자기 개선 하에서 정체기에 도달한 에이전트들은 동료의 경험을 사용할 수 있을 때 상당한 돌파구(breakthroughs)를 달성할 수 있습니다. 경쟁적인 환경에서 반사실적 통제(counterfactual controls)를 통해 확인한 결과, 에이전트들은 상대 특화 전략을 개발하기보다는 일반적으로 개선되는 경향을 보였습니다. 다양한 형태의 공유 이력에 걸쳐, 필터링된 동료 흔적(filtered peer traces)과 성찰적 요약(reflective summaries)이 원시 로그(raw logs)보다 더 나은 성능을 보이는 경우가 많았으며, 이는 사회적 이득이 노출량보다는 추상화(abstraction)에 달려 있음을 나타냅니다. 이러한 발견은 동료 이력을 통한 이득이 에이전트별로 다르고, 영역(arena)에 따라 다르며, 공개된 흔적으로부터 전이 가능한 지식(transferable knowledge)을 추상화하는 능력에 따라 달라진다는 것을 보여줍니다.