VL-DPO: 선호도 정렬된 자율 주행을 위한 시각-언어 가이드 미세 조정

요약

VL-DPO는 시각-언어 모델(VLM)을 활용하여 자율 주행 모델의 동작 예측을 인간의 선호도에 정렬시키는 새로운 프레임워크입니다. VLM을 제로샷 추론기로 사용하여 선호도 쌍을 자동으로 생성하고, 이를 Direct Preference Optimization(DPO) 방식으로 미세 조정하여 주행 성능을 개선합니다. 실험 결과, 기존 사전 학습 모델 대비 인간 선호도 점수(RFS)는 향상되고 평균 변위 오차(ADE)는 감소하는 성과를 거두었습니다.

핵심 포인트

• VLM을 제로샷 추론기로 활용하여 자율 주행 데이터에 대한 선호도 쌍을 자동 생성
• Direct Preference Optimization(DPO) 기법을 자율 주행 동작 예측 모델에 적용
• Waymo Open End-to-End Driving Dataset(WOD-E2E)을 통한 성능 검증
• 인간 선호도 점수(RFS) 11.94% 향상 및 평균 변위 오차(ADE) 10.01% 감소 달성