분산 에이전트 스웜의 자율 오케스트레이션 학습

에이전트 스웜의 능력은 개별 구성원과 이들이 어떻게 협력하는지에 모두 달려 있습니다. 하지만 기존의 다중 에이전트 시스템들은 종종 고정된 오케스트레이션 구조 내에서 에이전트를 훈련시키며, 개별 역량 학습을 집단 행동 조직화와 분리합니다. 본 논문에서는 시장 기반 사후 훈련(market-based post-training, MPT)이라는 프레임워크를 소개하며, 이는 분산 에이전트 스웜에서 액션 정책과 자율 오케스트레이션을 공동으로 학습하는 방법입니다. 에이전트는 입찰을 통해 참여 의사를 표현하고, 이 입찰이 누가 행동할지 결정하며 집단 결과가 지역적인 훈련 크레딧을 제공합니다. 액션 행동과 입찰 행동 모두를 학습함으로써, 중앙 조정 에이전트 없이도 개별 역량과 참여 패턴이 함께 적응할 수 있습니다. 우리는 체화된 제작(embodied crafting), 로봇 내비게이션, 그리고 심층 연구에 MPT를 평가했습니다. 그 결과는 단일체 사후 훈련 대비 향상을 보여주며, 에이전트의 참여가 실제로 학습과 함께 진화한다는 것을 확인시켜 줍니다. 동일한 사후 훈련된 액션 정책을 사용했을 때도, 학습된 자율 오케스트레이션은 대안적인 조정 전략보다 우수한 성능을 보였습니다. 제거 실험(Ablations) 결과는 액션과 입찰 모두가 학습으로부터 이점을 얻으며, 학습된 입찰이 더 효과적인 액션 훈련 신호를 제공함을 보여줍니다. 원래의 훈련 목표를 넘어, 훈련된 스웜은 관련 작업에 더 빠르게 적응하고 추론 시간(inference time)에서 더 큰 개체 수로 더 나은 성능을 달성합니다. 또한, 더 큰 개체 수는 에이전트 드롭아웃(agent dropout) 상황에서도 더 작은 성능 손실을 겪으며, 이는 학습된 자율 오케스트레이션이 분산 에이전트 스웜에서 재사용성, 확장성, 그리고 견고성을 지원함을 입증합니다. 코드와 훈련 모델은 https://github.com/Embodied-Minds-Lab/MPT에서 이용 가능합니다.