협력적 다중 목적 다중 에이전트 강화학습 (Cooperative Multi-Objective Multi-Agent Reinforcement Learning, MOMARL) 모델은 잠재적으로 상충할 수 있는 여러 목적 하에서의 팀 의사결정을 모델링합니다. 이러한 설정에서는 목적 간의 충돌뿐만 아니라, 서로 다른 관측값(observations), 역할(roles), 기여도(contributions)를 가진 에이전트 간의 충돌도 발생합니다. 본 논문에서는 에이전트 간의 상호 보완적인 트레이드오프 (trade-offs)를 가능하게 하기 위해, 협력적인 에이전트별 선호도를 학습하는 선호도 조정 다중 에이전트 정책 최적화 (Preference Coordinated Multi-agent Policy Optimization, PCMA)를 제안합니다. 이론적으로, 우리는 협력적 MOMARL을 팀 최적 게임 (team-optimal game)으로 공식화하며, 적절한 조건 하에서 선호도 다양성 (preference diversity)이 1차 개선 분해 (first-order improvement decomposition)를 통해 팀의 성능 향상을 유도할 수 있음을 보여줍니다. 다양한 협력적 MOMA 환경과 실제 교통 제어 (traffic-control) 시나리오에서의 실험을 통해, PCMA가 성능과 트레이드오프 조정 (trade-off coordination) 모두를 향상시킨다는 것을 입증합니다.