공정성 게이트(fairness gate)는 모델의 편향 지표를 계산하여 CI/CD 체크 단계에서 배포를 차단하는 기능입니다. 이는 테스트 스위트가 단위 테스트 실패 시 배포를 막는 방식과 동일합니다. EU AI Act의 적용을 받는 AI 시스템을 구축하는 팀에게 공정성 게이트를 추가하는 것은 편향 문제를 프로덕션에 도달하기 전, 규제 당국이 발견하기 전에 포착할 수 있는 가장 실용적인 방법입니다.

본 가이드에서는 Python, GitHub Actions, 그리고 scikit-learn의 공정성 지표를 사용하여 구현하는 방법을 다룹니다.

게이트가 필요한 이유, 단순히 보고서만으로는 부족하다

대부분의 팀은 편향 검사를 평가 파이프라인의 일부로 실행하고 그 결과를 수동으로 검토합니다. 문제는 수동 검토 과정에서 '우리가 편향을 측정했다'와 '편향에 대해 조치를 취했다' 사이에 간극이 생긴다는 것입니다. EU AI Act 제10조에 따르면, 데이터 거버넌스 요구 사항에는 단순히 편향을 측정하는 것을 넘어, 편향을 식별하고 해결하기 위한 프로세스를 가지고 있음을 입증해야 합니다.

빌드 실패를 유발하는 게이트는 그 프로세스의 증거입니다. 검토되는 보고서는 그렇지 않습니다.

게이트로 설정할 지표들

EU AI Act는 어떤 공정성 지표를 사용해야 하는지 명시하지 않지만, 편향을 평가하고 방법론을 문서화하도록 요구합니다. 고위험(high-risk) AI 시스템에 가장 일반적으로 사용되는 지표들은 다음과 같습니다:

인구통계학적 균등 차이 (Demographic Parity Difference) — 그룹 간의 양성 예측률 차이입니다. 값이 0이라는 것은 두 그룹 모두가 양성 결과를 받을 가능성이 동등하다는 의미입니다. 일반적인 임계값은 ±0.1입니다.

동일 기회 차이 (Equal Opportunity Difference) — 그룹 간의 참 양성률(true positive rates) 차이입니다. 모델이 그룹 전반에 걸쳐 양성 결과를 식별하는 데 동등하게 좋은지 측정합니다. 임계값: ±0.1입니다.

불균형 영향 비율 (Disparate Impact Ratio) — 그룹 간의 양성 예측률 비율입니다. 0.8 미만의 비율은 미국 고용법에서 사용되는 '4분의 5 규칙(four-fifths rule)'이며, EU 환경에서도 유용한 출발점입니다.

평균 오즈 차이(Average Odds Difference) — 그룹 전반에 걸친 위양성률(false positive rates)과 진양성률(true positive rates) 차이의 평균입니다. 두 가지 유형의 오류를 동시에 포착합니다.**

대부분의 고위험 사용 사례(HR, 신용, 의료 등)에서는 최소한 인구 통계적 균등도 차이(Demographic Parity Difference)와 기회 균등도 차이(Equal Opportunity Difference)에 대한 게이트를 설정해야 합니다.

구현: Python 스크립트

# fairness_check.py
import pandas as pd
import json
...

GitHub Actions 워크플로우

# .github/workflows/fairness-gate.yml
name: Fairness Gate

...

Guardia AI와 통합하기

Guardia AI의 CI/CD 플러그인을 사용하고 있다면, 공정성 게이트가 포함되어 있습니다. 이 플러그인은 금지된 AI 패턴 검사(금지된 임포트 차단)와 공정성 지표 검사를 단일 워크플로우 단계에서 모두 실행하며, 감사 로깅을 위해 결과를 Guardia AI 대시보드에 게시합니다.

CI/CD 플러그인 설정하기 →

임계값 보정(Threshold Calibration)

적절한 임계값은 사용 사례에 따라 다릅니다. 0.1은 인구 통계적 균등도 차이에 대한 일반적인 시작점이지만, 다음 사항을 고려해야 합니다:

• HR 및 신용 시스템 — 규제 기관은 특히 보호 특성(protected characteristics)에 영향을 미치는 결정의 경우 0.05에 더 가까운 더 엄격한 임계값을 기대합니다.
• 의료 진단 — 인구 통계적 균등도보다 기회 균등도가 더 중요합니다. 그룹 전반에 걸쳐 동등한 민감도(sensitivity)를 확보하는 것이 목표입니다.
• 콘텐츠 조정 — 위양성률 평등(false positive rate parity)이 종종 관련 지표입니다(특정 인구 집단의 콘텐츠를 과도하게 플래그 지정하고 싶지 않다면).

임계값 선택은 Annex IV 문서에 기록해야 합니다.

1. 재조정된 데이터로 재학습(Retrain with rebalanced data) — 훈련 데이터에서 특정 인구 집단이 과소 대표되어 있다면, 해당 데이터를 증강하세요.
2. 후처리 적용(Apply post-processing) — 동등성(parity)을 달성하기 위해 그룹별 결정 임계값을 조정하세요 (이를 신중하게 문서화해야 합니다).
3. 모델 능력 축소(Reduce model capability) — 때로는 더 단순한 모델이 더 공정할 수 있습니다. 정확도는 높지만 편향성이 심각한 모델은, 약간 덜 정확하지만 공정한 모델보다 나쁩니다.
4. 문서화된 정당성을 통한 무시(Override with documented justification) — 비즈니스 상황상 임계값 위반이 허용되는 경우 (예: 설계상 특정 그룹에 대해 더 민감한 의료 검사), 그 정당성을 Annex IV에 명시적으로 문서화하세요.

결정을 내릴 때 실패가 사라지도록 게이트를 비활성화하거나 임계값을 올리지 마십시오. 그렇게 하면 편향성에 대해 알고 있었지만 어쨌든 배포하기로 선택했다는 것을 보여주는 기록이 남게 됩니다.

Guardia AI에서 편향 보고서 확인하기 →