차량 내 장면 이해를 위한 Vision Language Models의 탐색 기반 테스트

요약

차량 내 장면 이해(ISU)를 위한 Vision Language Models(VLMs)의 성능을 평가하기 위해 렌더링 기반 장면 생성과 탐색 기반 테스트를 결합한 ISU-Test 프레임워크를 제안합니다. 이 방식은 테스트를 최적화 문제로 구성하여 다양한 시나리오를 생성하며, 기존 무작위 방식보다 훨씬 높은 실패율과 커버리지를 달성했습니다.

핵심 포인트

• 차량 내 장면 이해(ISU)를 위한 VLM의 체계적 테스트 필요성 강조
• 렌더링 기반 장면 생성과 탐색 기반 테스트를 결합한 ISU-Test 제안
• 테스트 과정을 최적화 문제로 정의하여 다양한 시나리오 자동 생성
• 무작위 방식 대비 실패율 최대 10배, 실패 커버리지 최대 3.6배 향상