ACCoRD: O-RAN xApps를 위한 딥러닝 기반 Actor-Critic 충돌 해결 방식

충돌 완화 (Conflict Mitigation, ConMit)는 개방형 무선 접속 망 (Open Radio Access Networks, O-RAN)의 지능형 네트워크 제어에서 매우 중요한 부분입니다. 본 논문에서는 PPO-Clip 강화학습 (Reinforcement Learning, RL) 알고리즘으로 학습된 인공 신경망 (Artificial Neural Network, ANN) 기반의 충돌 해결 (Conflict Resolution, CR) 에이전트를 사용하여, 근실시간 RAN 지능형 컨트롤러 (Near-Real Time RAN Intelligent Controller) 내에서 감지된 제어 충돌을 해결하는 ACCoRD라는 방법을 제안합니다. 구현된 ANN은 네트워크 데이터와 충돌하는 제어 결정에 관한 데이터를 분석하여 최적의 CR 동작을 추론합니다. CR 에이전트는 각 충돌이 해결된 후 네트워크로부터 피드백을 수집하여 효율성을 평가하고, 배치 학습 (Batch Training) 과정에서 ANN의 가중치를 조정합니다. 제안된 접근 방식의 평가는 시뮬레이션 데이터를 기반으로 이루어집니다. 또한 CR 솔루션을 평가하기 위한 새로운 방법론이 제안되었습니다. 결과에 따르면, 제안된 ANN 기반 방식은 중간 및 높은 트래픽 시나리오에서 충돌하는 제어 결정으로 인해 발생하는 부정적인 네트워크 이벤트를 크게 감소시킴으로써 규칙 기반 (Rule-based) 방식의 효율성을 개선함을 보여줍니다.