AI 공청회 데이터의 대표성 검증: 참여형 출처 추적 방법론

AI가 정책 자문이나 공청회 과정에서 대규모의 공공 의견을 종합하는 데 광범위하게 사용되고 있습니다. 하지만 이 요약본들이 실제 원본 참여자 집단을 얼마나 충실히 대표하는지 검증할 공식적인 감사(auditing) 체계는 부재합니다. 기존 AI 설명 가능성(explainability)이나 환각 탐지 기법들은 출력물의 품질에만 초점을 맞추어, 입력 데이터의 충실도라는 핵심 문제를 해결하지 못하고 있습니다.

이에 본 연구에서는 '참여형 출처 추적 (participatory provenance)'이라는 측정 프레임워크를 도입합니다. 이 방법론은 최적 수송 이론(optimal transport), 인과 추론(causal inference) 및 의미론 분석을 기반으로 하며, 개별 공공 제출 의견이 AI 요약 과정을 거치며 어떻게 변형되거나 필터링되고 손실되는지를 추적할 수 있게 합니다.

캐나다의 2025-2026년 국가 AI 전략 자문 사례($n = 5,253$명)에 이 프레임워크를 적용한 결과, 정부가 발표한 공식 요약본들이 무작위 참가자 수준보다 낮은 대표성(coverage degradation)을 보이는 것으로 나타났습니다. 특히 참여자의 약 16% 이상이 효과적으로 제외되었으며, 이러한 배제는 반대 의견이나 AI에 대한 회의론 등 비판적 목소리를 가진 집단에서 집중되는 경향을 보였습니다.

연구진은 요약문의 간결성, 의미론적 고립성, 그리고 수사학적 어조가 결과적인 대표성에 독립적으로 영향을 미치는 주요 요인임을 밝혀냈습니다. 또한, 정책 입안자들이 직접 감사하고 개선할 수 있도록 'Co-creation Provenance Lab'이라는 오픈소스 대화형 도구를 함께 공개하여, 실질적인 인간 참여(human-in-the-loop) 기반의 감독 체계를 구축하는 데 기여했습니다.