불완전 정보 하의 효율적 모바일 크라우드 센싱을 위한 연방 강화학습

모바일 크라우드 센싱 (Mobile Crowdsensing, MCS) 은 기존 모바일 단위의 센서를 활용하여 감지 작업을 수행하는 분산 센싱 아키텍처입니다. 모바일 크라우드 센싱 플랫폼 (MCSP) 이 감지 작업을 게시하면 모바일 단위 (MUs) 는 금전적 보상을 위해 참여 여부를 결정합니다. MCS 시스템은 동적입니다: 작업 요구사항, MUs 의 가용성 및 자원 가용성은 시간에 따라 변화합니다. MUs 는 자신의 수익을 최대화하기 위해 효율적인 작업 참여 전략을 찾고, MCSP 는 완료된 작업의 수를 최대화하는 데 중점을 둡니다. 최적의 전략은 MCS 시스템에 대한 완벽한 비인과적 (non-causal) 정보를 필요로 하는데, 이는 현실적인 시나리오에서 이용 불가능하므로, 주요 과제는 불완전 정보 하에서 MUs 의 효율적인 작업 참여 전략을 찾는 것입니다. 이를 위해 FDRL-PPO 라는 새로운 완전 분산 연방 심층 강화학습 알고리즘이 제안되었습니다. FDRL-PPO 는 MCS 시스템에 대한 완벽한 비인과적 정보를 의존하지 않고, 각 MU 가 자신의 경험, 자원 및 선호도에 기반하여 자체 작업 참여 전략을 학습할 수 있게 합니다. 배터리 충전을 위해 MUs 는 에너지 수확 (energy harvesting) 을 활용합니다. 결과적으로 그들의 가용 에너지는 시간에 따라 변하며, 이는 가용성과 분산된 학습 경험을 초래합니다. 이러한 과제를 완화하기 위해 제안된 접근법은 연방 학습을 활용하여 MU 들이 개인적인 원시 데이터 (예: 자신의 경험) 를 공유하지 않고 모델을 협력적으로 개선할 수 있게 합니다. 학습된 모델만 교환함으로써 MUs 는 개별적 한계를 집단적으로 보전하고, 더 확장 가능하고 견고하며 효율적인 작업 참여 전략을 찾습니다. 합성 및 실제 세계 데이터셋에 대한 종합 평가는 FDRL-PPO 가 작업 완료 비율, 작업 완료의 공정성, 에너지 소비 및 충돌 제안 수 측면에서 벤치마크 알고리즘보다 일관되게 우수함을 보여줍니다.