체인은 가장 약한 고리만큼만 강하다: AI 시스템 통합 감사에 관한 범위 검토 (Scoping Review)
요약
본 논문은 AI 시스템이 복잡하게 통합됨에 따라 모델 중심의 감사만으로는 위험 파악이 불충분함을 지적하며, '시스템 통합'을 평가의 핵심 원칙으로 다루는 범위 검토 결과를 제시합니다. 분석 결과, 현재 AI 감사는 파편화되어 있으며, 통합 특화 위험 측정 및 전통적인 감사 기대치 충족에 큰 격차가 있음을 발견했습니다.
핵심 포인트
- AI 시스템은 모델 중심 감사만으로는 위험을 포괄할 수 없습니다.
- 시스템 통합은 평가의 핵심 원칙으로 다루어져야 합니다.
- 현재 AI 감사는 파편화되어 있으며, 격차가 존재합니다.
- 통합 평가는 구성 요소 간, 시스템-환경 간, 다중 시스템 간 세 영역으로 분류됩니다.
AI 시스템이 다양한 인터페이스와 애플리케이션에 점점 더 통합됨에 따라, 모델 중심의 감사 (model-centric audits)만으로는 시스템 구성 요소 간의 상호작용 및 배포 환경에서 발생하는 위험을 해결하기에 불충분합니다. 시스템 통합 (System integration)은 항공우주와 같은 안전 필수 (safety-critical) 분야의 소프트웨어 감사에서 오랫동안 핵심적인 역할을 해왔습니다. 그러나 AI 감사에서의 역할은 여전히 충분히 탐구되지 않은 상태입니다. 4,259개의 문서를 스캔하여, 우리는 시스템 통합을 평가의 핵심 원칙으로 다루는 AI 감사에 대한 범위 검토 (scoping review) 결과(n = 58)를 제시합니다. 성찰적 주제 분석 (reflexive thematic analysis)을 사용하여, 우리는 그 요소, 행위자, 조력자 및 제약 조건을 분석합니다. 우리는 이 말뭉치(corpus)가 신흥 단계이지만 여전히 파편화된 형태의 AI 감사를 나타내고 있음을 발견했습니다: 기존의 측정 방식 중 통합 특화 위험을 겨냥한 것은 거의 없으며, 전통적인 감사 기대치를 충족하는 데에는 큰 격차가 남아 있고, 필요한 정보 및 자원에 대한 접근성이 감사 설계에 상당한 영향을 미칩니다. 그럼에도 불구하고, 통합은 세 가지 영역(구성 요소 간, 시스템-환경 간, 다중 시스템 간)으로 분류될 수 있으며, 각 영역은 위험 탐색, 위험 결정, 조정 및 절차적 규칙성의 기능을 수행합니다. 다른 유형의 평가와 달리, 이러한 감사들은 호환성 (compatibility), 완전성 (completeness), 감독 (oversight)을 포함하여 시스템 통합에 특화된 품질을 평가합니다. 본 검토는 AI 커뮤니티가 AI 위험을 해결하기 위한 핵심 전략으로서 시스템 통합을 우선시하고, 구성 요소 수준의 평가 범위를 벗어난 구성 요소, 환경 및 시스템 전반의 실패를 포착할 수 있는 감사 관행을 개발할 것을 촉구합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기