인지 모델을 위한 신뢰할 수 있고 설명 가능한 AI: 개념에서 프로토타입 차량 배포까지

심층 신경망 (Deep Neural Networks)은 자율 주행 (Autonomous Driving) 인지 분야의 지배적인 솔루션이 되었으나, 이러한 모델의 불투명성은 새롭게 등장하는 신뢰할 수 있는 AI (Trustworthy AI) 가이드라인과 충돌하며 안전 보장, 디버깅 (debugging), 그리고 인간의 감독을 복잡하게 만듭니다. 안전하고 설명 가능한 AI (Explainable AI, XAI)를 위한 이론적 프레임워크는 존재하지만, 3D 장면 이해 (3D scene understanding)를 위한 신뢰할 수 있는 AI의 구체적인 구현은 여전히 부족한 실정입니다. 본 연구에서는 매우 견고하며, 충실한 설명 가능성 (faithful explainability)과 보정된 불확실성 추정치 (calibrated uncertainty estimates)를 통합하는 신뢰할 수 있는 AI 인지 모듈을 제안함으로써 이 격차를 해소합니다. 트랜스포머 기반 탐지기 (transformer-based detector)를 바탕으로, 추론 (inference) 시점에 어텐션 메커니즘 (attention mechanism)으로부터 설명을 도출하고, 섭동 기반 일관성 테스트 (perturbation-based consistency tests)를 사용하여 그 충실성을 검증합니다. 나아가 불확실성 추정 및 보정 모듈을 통합하고, 강건성 향상 학습 방법 (robustness-enhancing training methods)을 적용합니다. 실험 결과, 충실한 돌출도 (saliency) 동작, 향상된 강건성, 그리고 잘 보정된 불확실성 추정치를 보여주었습니다. 마지막으로, 이러한 신뢰할 수 있는 AI 요소들을 프로토타입 차량에 배포하고, 문서화된 산출물, 모델의 불확실성 상태, 그리고 돌출도 맵 (saliency maps)을 시각화하는 XAI 인터페이스를 제공함으로써 실시간 신뢰 인지 모니터링의 타당성을 입증합니다. 보충 자료는 https://tillbeemelmanns.github.io/trustworthy_ai/ 에서 확인할 수 있습니다.