강화학습을 이용한 심우주 통신을 위한 목표 지향적 번들 관리 및 흐름 제어

원문 발행 2026. 10. 10. 02:53원문 언어 영어AI 한국어 번역arXiv cs.LG (Machine Learning) 원문 보기

요약

본 논문은 심우주 통신 환경의 제한된 자원(저장 용량, 간헐적 연결)에서 목표 지향적인 번들 및 흐름 관리를 위한 학습 프레임워크를 제시합니다. 정보 신선도(Age of Information)와 소스 의존적 비선형 페널티를 활용하여 임무 관련성에 따라 우선순위를 지정하는 것이 핵심입니다. 이를 CSMDP로 공식화하고 masked Lagrangian PPO를 적용하여 최적의 스케줄링 및 흐름 제어를 수행합니다.

핵심 포인트

심우주 통신은 간헐성, 지연 시간, 저장 용량 제약이 특징이다.
정보 신선도(Age of Information) 기반의 목표 지향적 우선순위 지정이 중요하다.
CSMDP와 masked Lagrangian PPO를 사용하여 중계기 제어를 최적화한다.
제안된 프레임워크는 공정성을 고려하여 번들 스케줄링 및 흐름을 공동 최적화한다.

심우주 통신은 간헐적인 연결성, 긴 전파 지연 시간, 그리고 중계기 저장 용량 제약 하에서 작동합니다. 이러한 네트워크에서 번들 프로토콜(Bundle Protocol)은 스토어-캐리-포워드(store-carry-forward) 통신을 가능하게 하며, 이는 중계 노드가 제한된 저장 공간과 희소한 접촉 기회를 관리하도록 요구합니다. 중계기 측의 스케줄링 및 드롭 결정은 본질적으로 목표 지향적입니다: 전송 자원은 다운스트림 임무 목표에 가장 가치 있는 번들에 할당되어야 합니다. FIFO와 같은 기존 스케줄러는 작업 유틸리티를 명시적으로 최적화하지 못하며, 이종 행성 소스 간 불공정한 서비스를 제공할 수 있습니다. 본 논문은 달과 화성의 업데이트가 공유 버퍼 중계기를 통해 지구로 전달되는 접촉 기반 심우주 네트워크에서 중계기 측 번들 및 흐름 관리를 위한 폐쇄 루프 모델링 및 학습 프레임워크를 제시합니다. 우리는 초과 연령(excess age) $\Delta_i^e(t)=[\Delta_i(t)-d_i(t)]^+$를 사용하여 목적지 측 정보 신선도(information freshness)를 정량화하는데, 여기서 $\Delta_i(t)$는 소스 $i$의 정보 연령(Age of Information)을 나타내고 $d_i(t)$는 소스 의존적 지연 기준선입니다. 이 메트릭을 기반으로, 우리는 소스 의존적 비선형 페널티를 지원하는 목표 지향적 손실 함수를 정의하여 임무 관련성에 따라 우선순위를 지정할 수 있도록 합니다. 우리는 중계기 제어를 제약된 준마르코프 결정 과정(constrained semi-Markov decision process, CSMDP)으로 공식화하고 이를 마스크드 라그랑지안 근접 정책 최적화(masked Lagrangian Proximal Policy Optimization, PPO)를 사용하여 해결합니다. 실현 가능성 인식 액션 마스킹(Feasibility-aware action masking)은 남은 접촉 시간 내에 완료될 수 있는 번들로 전송을 제한합니다. DTNSim 시뮬레이션 결과는 기준선 스케줄러 대비 향상된 연령 기반 유틸리티 및 흐름 간 공정성을 나타냅니다. 제안된 프레임워크는 이종 소스 전반에 걸쳐 명시적인 공정성 고려 사항을 갖춘 접촉 기반 동역학 하에서 중계기 측 번들 스케줄링, 드롭, 그리고 흐름 제어를 공동으로 최적화합니다.

AI 자동 생성 콘텐츠

원문 바로가기

강화학습을 이용한 심우주 통신을 위한 목표 지향적 번들 관리 및 흐름 제어

요약

핵심 포인트

댓글