설명 가능한 AI를 넘어 알고리즘 이의 제기 가능성(Contestability)의 재고

머신러닝 (Machine learning) 시스템이 대출 승인, 채용, 부정행위 탐지와 같이 개인의 삶을 변화시키는 결정을 내리는 경우가 점점 늘어나면서, 다음과 같은 시급한 질문이 제기되고 있습니다: 개인은 이러한 불투명한 시스템이 내린 부정적인 결정에 어떻게 대응할 수 있는가? 설명 가능한 인공지능 (XAI)은 주로 알고리즘적 구제 (Algorithmic recourse) — 즉, 개인이 원하는 결과를 얻기 위해 자신의 특성 (Features)을 변경하도록 돕는 것 — 에 집중해 왔습니다. 반면, 알고리즘적 이의 제기 가능성 (Algorithmic contestability) — 즉, 개인이 잘못된 알고리즘 결정을 검토하고 수정할 수 있도록 돕는 것 — 이라는 병행적인 문제는 윤리적 및 법적 중요성에도 불구하고 훨씬 적은 관심을 받아왔습니다. 우리는 이러한 방치가 이의 제기 가능성을 알고리즘 문제로서 명확하게 정의하고 체계적으로 운용화 (Operationalization) 하지 못했기 때문임을 밝힙니다. 이를 해결하기 위해, 우리는 구제 (Recourse)의 자연스러운 보완재로서 이의 제기 가능성의 운용적 정의를 제안합니다. 구제 (Recourse)가 결정이 유효하다고 가정하고 대신 이를 변경하기 위한 경로를 제공하는 반면, 이의 제기 가능성 (Contestability)은 결정이 틀릴 수 있다는 가정에서 시작하여 해당 결정을 반박하고 잠재적으로 뒤집을 수 있는 증거를 식별하는 데 집중합니다. 우리는 반사실적 설명 (Counterfactuals), LIME, 또는 Anchors와 같은 표준적인 XAI 설명들이 결정의 연속성 (Continuity) 또는 단조성 (Monotonicity)에 대한 인간의 직관과 결합되더라도, 개인의 인근 영역 (Neighborhood)에 있는 오류만을 드러낼 뿐, 당면한 결정을 뒤집기 위한 충분한 근거를 제공하지 못한다는 것을 보여줍니다. 따라서 전통적인 XAI를 넘어, 우리는 의사 결정권자 자신의 윤리적 기준에 따라 결정을 뒤집어야 할 정당성을 부여하는 세 가지 유형의 증거를 식별합니다: 예측 다중성 (Predictive multiplicity), 잘못된 특성 값 (Incorrect feature values), 그리고 간과된 우선 적용 증거 (Neglected overruling evidence). 우리는 이러한 요소들이 결정을 규범적으로 방어할 수 없게 만들며, 따라서 성공적인 이의 제기를 가능하게 한다고 주장합니다. 마지막으로, 우리는 기존의 EU 법안이 우리의 프레임워크와 어떻게 연결되는지 분석하고, 개인이 이미 이러한 형태의 증거에 대해 일정한 법적 권리를 보유하고 있음을 논합니다.