죄송합니다 운전자님, 그건 할 수 없습니다: 자동차 환경 내 LLM의 안전성 평가

본 논문은 안전 보증 (safety assurance) 관점에서 자동차 환경의 제어 작업에 LLM을 통합하기 위한 최근의 AI 개발 프레임워크를 평가합니다. 본 연구는 자동차 환경 전반에 걸친 LLM의 급격한 통합을 바탕으로 수행되었습니다. 그러나 우리는 현재 이러한 프레임워크들이 상당한 과제에 직면해 있으며, 이로 인해 실시간 안전 필수 (safety-critical) 환경에서의 효능이 제한된다는 점을 발견했습니다. 첫째, 우리는 개념적 과제를 고려합니다. 여기에는 배포자가 직면한 이중 과제, 즉 대형 AI 연구소에서 범용 도구로서 상류 (upstream) 단계에서 개발된 모델을 하류 (downstream) 단계인 특정 차량 아키텍처로 통합하며 보증해야 한다는 사실이 포함됩니다. 둘째, 우리는 기존 표준 전반에 걸친 구체적인 과제들을 고려합니다. 우리는 지연 시간 (latency)과 같이 ISO21448에서 다루는 근본적인 엔지니어링 제약 사항과, ISO/PAS8800에서 다루는 정렬 (alignment) 관련 문제와 같은 새로운 LLM 특화 이슈가 현재 모두 존재함을 보여줍니다. 우리는 기존 오픈 소스 저장소인 Talk2Drive를 탐구하는 구체적인 도입 및 실험적 사례 연구를 통해 두 가지 사례의 근거를 제시합니다. 우리는 기존 솔루션의 한계를 명확히 하기 위해 안전 논거 (safety argument)를 제시합니다. 그럼에도 불구하고, 자동차 환경에서 LLM의 사용이 기술적 수준에서 탐구되고 운영화되고 있다는 점을 고려하여, 우리는 향후 LLM 관련 위험 이벤트 (hazardous events)를 위한 잠재적인 보증 메커니즘을 제안합니다.