다중 목적 제약 최적화를 위한 다중 에이전트 시스템

컴퓨팅 및 네트워킹 시스템의 많은 의사 결정 문제들은 성능 제약 조건 하에서의 비용 최소화 문제로 자연스럽게 정식화될 수 있습니다. 동적인 환경에서, 강화학습 (RL)은 Lagrangian(라그랑주) 방식의 정식화를 따라 가중 페널티 항을 통해 비용과 제약 조건 위반을 하나의 스칼라 보상에 통합함으로써, 실행 시간(runtime) 동안 이러한 문제들을 해결하기 위해 자주 사용됩니다. 그러나 이러한 맥락에서 학습된 정책 (policy)의 동작은 일반적으로 수동으로 선택되는 이러한 가중치의 선택에 결정적으로 의존합니다. 이는 주 목적을 최적화하는 것과 제약 조건 위반을 효과적으로 피하는 것 사이의 적절한 트레이드오프 (trade-off)를 식별하는 것을 어렵게 만들며, 특히 그 상대적 중요성이 변할 수 있는 비정상적 (non-stationary) 환경에서 더욱 그러합니다. 본 논문은 다중 에이전트 강화학습 (multi-agent RL)을 통해 이러한 균형 문제를 해결하기 위한 접근 방식인 MAMO (Multi-Agent system for Multi-Objective constrained optimization)를 제시합니다. MAMO는 보상 가중치의 선택을 학습 문제로 정식화함으로써 작업 실행을 목적 설계로부터 분리하며, 이는 동적인 환경에서의 제약 최적화 문제에 대해 더욱 자율적이고 견고한 RL 기반 솔루션을 향한 첫 번째 단계를 제공합니다.