SARAD: 자율 주행을 위한 충돌 예측 기반 LLM 기반 안전 인지 하이브리드 강화학습

자율 주행 시스템의 의사 결정에서 안전성과 효율성을 모두 보장하는 것은 여전히 근본적인 과제로 남아 있습니다. 전통적인 심층 강화학습 (Deep Reinforcement Learning, DRL)은 안전하지 않은 무작위 탐색 (random exploration)과 느린 수렴 속도로 인해 어려움을 겪는 반면, 대규모 언어 모델 (Large Language Models, LLMs)은 실시간 추론 (real-time inference) 작업에서 고유한 지연 시간 (latency)을 보입니다. 이러한 한계를 해결하기 위해, 본 논문은 자율 주행을 위해 LLMs와 DRL을 시너지화하는 새로운 안전 인지 하이브리드 프레임워크인 SARAD를 제안합니다. SARAD는 DRL의 무작위 탐색을 동적인 전문가 지식 저장소에서 가져온 검색 증강 생성 (Retrieval-Augmented Generation, RAG) 강화 및 LLM 가이드 의사 결정으로 대체합니다. LLMs의 사전 지식을 DRL 정책 최적화 (policy optimization)에 통합하기 위해 어텐션 판별기 (attention discriminator)를 제안합니다. 또한, 차량의 안전성을 향상시키기 위해 과거 충돌 데이터로 미세 조정된 충돌 예측기 (collision predictor) 모듈을 설계했습니다. 광범위한 실험을 통해 SARAD가 Highway-Env 시뮬레이터에서 상당한 성능 향상을 달성함을 보여주며, 자율 주행에서 제안된 모델의 효과를 검증합니다.