FedCritic: 6G 멀티셀 OFDMA를 위한 서버리스 연합 Critic 학습 기반 자원 할당

6세대 (6G) 초고밀도 네트워크 (ultra-dense networks)에서 공격적인 주파수 재사용은 셀 간 간섭 (inter-cell interference, ICI)을 증폭시키며, 이로 인해 멀티셀 직교 주파수 분할 다중 접속 (multi-cell orthogonal frequency-division multiple access, OFDMA) 스케줄링과 전력 제어가 인접 셀 간에 강력하게 결합됩니다. 본 연구에서는 간섭 결합 (interference coupling) 및 사용자별 장기 서비스 품질 (quality-of-service, QoS) 최소 전송률 제약 조건 하에서의 분산형 다운링크 자원 관리 — 부반송파 스케줄링 (subcarrier scheduling) 및 전력 할당 (power allocation)의 결합 — 를 연구합니다. 장기 QoS를 강제하기 위해 가상 큐 결손 가중치 (virtual-queue deficit weights)를 사용함으로써, 우리는 분산 실행이 가능한 서버리스 연합 멀티 에이전트 액터-크리틱 (federated multi-agent actor-critic) 프레임워크인 FedCritic을 개발했습니다. 중앙 집중식 크리틱 학습과 공동 궤적 집계 (joint trajectory aggregation)를 요구하는 중앙 집중식 학습 및 분산 실행 (centralized training with decentralized execution, CTDE) 방식과 달리, FedCritic은 간섭 그래프 (interference graph) 상에서 경량화된 가십 기반 파라미터 평균화 (gossip-based parameter averaging)를 통해 크리틱을 연합하며, 정책을 로컬로 유지하면서도 중앙 코디네이터 없이 안정적인 가치 추정 (value estimation)을 가능하게 합니다. 간섭이 풍부한 재사용 1 (reuse-1) 설정에서의 시뮬레이션 결과, FedCritic은 평균 신호 대 간섭 및 잡음비 (signal-to-interference-plus-noise ratio, SINR)와 셀 경계 전송률 (cell-edge rate)을 개선하고, 비협력 (non-coordinated) 및 CTDE 베이스라인 대비 네트워크 전체의 평균 합계 전송률 (sum-rate)과 공정성 (fairness)을 높이며, 더 낮은 조정 오버헤드 (coordination overhead)로 더 안정적인 학습을 달성함을 보여줍니다.