veriFIRE: DNN 기반 산불 탐지 시스템의 일관성 속성 검증을 위한 산업 사례 연구

우리는 실세계의 안전 필수 (safety-critical) 시스템의 신뢰성을 높이기 위해 검증 (verification) 기술을 적용하는 것을 목표로 하는 산학 협력 프로젝트인 veriFIRE에 대한 진행 중인 연구를 소개합니다. 구체적으로, 우리는 두 개의 심층 신경망 (DNN)을 포함하는 산불 탐지용 항공 플랫폼을 대상으로 합니다. 우리는 이 시스템의 일관성 속성 (consistency properties)을 검증하기 위한 엔드 투 엔드 (end-to-end) 방법론을 제시합니다. 우리의 접근 방식은 애플리케이션에 기반한 요구사항을 기존의 신경망 검증기 (neural network verifiers)와 호환 가능한 쿼리 (queries)로 인코딩합니다. 우리는 다음과 같은 중요한 운영 시나리오에 대한 관심 속성을 연구합니다: (i) 대상 강도가 증가함에 따른 탐지기 신뢰도 (detector confidence)의 단조성 (monotonicity); (ii) 센서 상의 물리적으로 타당한 블러 (blur) 하에서의 제한된 탐지기 응답 (bounded detector response). 우리는 최첨단 신경망 검증 백엔드 (neural network verification backends)를 사용하여 이러한 인코딩을 구현하고, 실제 배경 샘플을 사용하여 대규모로 평가합니다. 첫 번째 속성의 경우, 모든 검증 쿼리는 5분 이내에 해결되었습니다. 두 번째 속성의 경우, 검증이 상당히 더 어려우며, 이는 더 풍부하고 고차원적인 사양 (specifications)에 대한 주요 확장성 (scalability) 과제를 강조합니다. 전반적으로, 이 결과는 산업 시스템에 대해 의미 있고 도메인 특화된 보장 (guarantees)을 얻을 수 있음을 입증합니다.