DGLight: 교통 신호 제어용 대형 언어 모델의 DQN 기반 GRPO 미세 조정

요약

DGLight는 사전 학습된 대형 언어 모델(LLM)을 교통 신호 제어(TSC)에 효과적으로 적용하기 위한 새로운 강화학습 프레임워크입니다. 이 방법은 CoLight 기반 DQN 비평가를 훈련하여 교차로 상태의 행동 가치를 추정하고, 이를 활용해 Group Relative Policy Optimization (GRPO)를 통해 LLM 정책을 최적화합니다. DGLight는 해석 가능한 추론 과정을 거쳐 교통 신호를 결정하며, 실제 도시 데이터셋에서 강력한 성능과 우수한 전이 학습 능력을 입증했습니다.

핵심 포인트

• DGLight는 LLM의 생성 능력과 강화학습(RL)의 최적화 능력을 결합하여 TSC 문제를 해결합니다.
• 핵심 구성 요소는 CoLight 기반 DQN 비평가와 Group Relative Policy Optimization (GRPO)입니다.
• 이 프레임워크는 원시 환경 보상 대신 해석 가능한 추론 흔적을 사용하여 교통 상태를 매핑하고 신호를 결정합니다.
• 실제 도시 벤치마크(Jinan, Hangzhou)에서 기존 LLM 기반 제어기 중 가장 강력한 성능을 보여주었으며 전이 학습 능력이 뛰어납니다.