제한된 출력 접근 환경에서의 순차적 공정성 감사

외부 평가는 AI 시스템의 거버넌스(governance)에서 점점 더 중심적인 역할을 하고 있습니다. 그러나 실제 상황에서 독립적인 감사인들은 배포된 모델에 대한 접근 권한이 제한적인 경우가 많으며, 쿼리 기반 상호작용(query-based interactions)에 의존해야 합니다. 대부분의 기존 공정성 평가 방법은 정적인 데이터셋과 고정된 샘플 통계 검정(fixed-sample statistical tests)을 가정하므로, 쿼리 제약 조건 하에서 증거를 순차적으로 수집해야 하는 실제 감사 시나리오에는 적합하지 않습니다. 본 연구에서는 제한된 모델 출력 접근 환경에서 공정성 감사를 허용 오차를 고려한 순차적 가설 검정(tolerance-aware sequential hypothesis-testing) 문제로 공식화합니다. 우리는 감사인이 유한한 감사 풀(audit pool)로부터 증거를 축적하고, 준수 또는 위반에 대한 충분한 근거가 확보되면 중단할 수 있는 순차적 일반화 가능도비(sequential generalized likelihood-ratio) 프레임워크를 개발합니다. 이 프레임워크는 결정 기반(decision-based)의 통계적 패리티(Statistical Parity) 및 기회 균등(Equal Opportunity) 감사에 대해 구체화되었으며, 더 풍부한 관찰 가능 정보가 사용 가능한 경우 점수(score) 및 로짓(logit) 기반의 프록시(proxy) 감사로 확장됩니다. 연구 결과에 따르면, 공정성 지표와 모델 접근 수준 모두 감사 효율성에 상당한 영향을 미치며, 더 풍부한 출력 정보의 이점이 모든 감사 설정에서 균일하게 나타나지는 않는다는 것을 보여줍니다. 특히, 더 풍부한 출력은 일부 공정성 지표와 운영 체제(operating regimes)에서 필요한 쿼리 수를 실질적으로 줄일 수 있는 반면, 임계값에 근접한 사례에서는 이점이 제한적입니다. 본 연구는 현실적인 배포 제약 조건 하에서의 순차적 공정성 감사를 위한 실용적인 통계적 프레임워크를 제공합니다.