SOAR: 로보틱 모바일 fulfillment 시스템에서의 주문 할당 및 로봇 스케줄링 실시간 공동 최적화

로보틱 모바일 Fulfillment Systems (RMFS) 는 자동화된 재고 운송을 위해 모바일 로봇에 의존하며, 창고 효율성을 향상시키기 위해 주문 할당과 로봇 스케줄링을 조정합니다. 그러나 RMFS 를 최적화하는 것은 엄격한 실시간 제약 조건과 다단계 결정의 강한 결합으로 인해 도전적입니다. 기존 방법들은 응답성을 보장하기 위해 문제를 고립된 하위 작업으로 분해하거나 (global optimality 의 손실), 계산 비용이 높은 전역 최적화 모델을 의존하여 동적 산업 환경에 적합하지 않습니다. 이 간극을 해소하기 위해 우리는 실시간 공동 최적화를 위한 통합 심층 강화학습 (Deep Reinforcement Learning) 프레임워크인 SOAR 을 제안합니다. SOAR 는 소프트 주문 할당을 관측으로 활용하여 주문 할당과 로봇 스케줄링을 단일 프로세스로 변환합니다. 이를 이벤트 기반 마르코프 결정 과정 (Event-Driven Markov Decision Process) 으로 형식화하여, 에이전트가 비동기 시스템 이벤트에 응답하여 동시 스케줄링을 수행할 수 있게 합니다. 기술적으로 우리는 창고 상태를 인코딩하고 단계별 도메인 지식을 통합하기 위해 Heterogeneous Graph Transformer 를 사용합니다. 또한 장기적 작업의 희소 피드백 문제를 해결하기 위해 보상 형성 전략 (reward shaping strategy) 을 포함시켰습니다. Geekplus 와 협력하여 합성 및 실제 산업 데이터셋에 대한 광범위한 실험은 SOAR 가 전역 makespan 을 7.5% 줄이고 평균 주문 완료 시간을 15.4% 줄이며 100ms 미만 지연 (latency) 을 달성함을 보여줍니다. 또한 시뮬레이션에서 실제 배포는 생산 환경에서의 실용 가능성과 상당한 성능 향상을 확인했습니다. 코드는 https://github.com/200815147/SOAR 에서 이용 가능합니다.