Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
제한된 모델 접근 권한을 가진 환경에서 AI 시스템의 공정성을 감사하기 위한 순차적 가설 검정 프레임워크를 제안합니다. 쿼리 기반 상호작용을 통해 증거를 축적하고, 충분한 근거가 확보되면 감사를 중단할 수 있는 통계적 방법론을 다룹니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기외부 평가는 AI 시스템의 거버넌스(governance)에서 점점 더 중심적인 역할을 하고 있습니다. 그러나 실제 상황에서 독립적인 감사인들은 배포된 모델에 대한 접근 권한이 제한적인 경우가 많으며, 쿼리 기반 상호작용(query-based interactions)에 의존해야 합니다. 대부분의 기존 공정성 평가 방법은 정적인 데이터셋과 고정된 샘플 통계 검정(fixed-sample statistical tests)을 가정하므로, 쿼리 제약 조건 하에서 증거를 순차적으로 수집해야 하는 실제 감사 시나리오에는 적합하지 않습니다. 본 연구에서는 제한된 모델 출력 접근 환경에서 공정성 감사를 허용 오차를 고려한 순차적 가설 검정(tolerance-aware sequential hypothesis-testing) 문제로 공식화합니다. 우리는 감사인이 유한한 감사 풀(audit pool)로부터 증거를 축적하고, 준수 또는 위반에 대한 충분한 근거가 확보되면 중단할 수 있는 순차적 일반화 가능도비(sequential generalized likelihood-ratio) 프레임워크를 개발합니다. 이 프레임워크는 결정 기반(decision-based)의 통계적 패리티(Statistical Parity) 및 기회 균등(Equal Opportunity) 감사에 대해 구체화되었으며, 더 풍부한 관찰 가능 정보가 사용 가능한 경우 점수(score) 및 로짓(logit) 기반의 프록시(proxy) 감사로 확장됩니다. 연구 결과에 따르면, 공정성 지표와 모델 접근 수준 모두 감사 효율성에 상당한 영향을 미치며, 더 풍부한 출력 정보의 이점이 모든 감사 설정에서 균일하게 나타나지는 않는다는 것을 보여줍니다. 특히, 더 풍부한 출력은 일부 공정성 지표와 운영 체제(operating regimes)에서 필요한 쿼리 수를 실질적으로 줄일 수 있는 반면, 임계값에 근접한 사례에서는 이점이 제한적입니다. 본 연구는 현실적인 배포 제약 조건 하에서의 순차적 공정성 감사를 위한 실용적인 통계적 프레임워크를 제공합니다.