6부작 중 제5부: 자신이 포착하도록 설계된 편향을 보지 못하는 규제

요약 (TL;DR): EU AI Act(유럽연합 인공지능법)의 고위험(high-risk) 규정은 2026년 8월에 발효됩니다. 여러분의 멀티 에이전트 파이프라인(multi-agent pipeline)도 적용 대상입니다. 하지만 이 규제는 "편향 (bias)"을 정의하지 않으며, 인구 통계 수준의 테스트를 요구하지도 않고, 창발적 행동 (emergent behaviour)을 감사할 수도 없습니다. 여러분은 모든 컴플라이언스 (compliance) 체크를 통과하고도 1부부터 4부까지 언급된 모든 문제를 여전히 안고 있을 수 있습니다.

이전 내용 보기: 제1부 편향된 판사. 제2부 업그레이드가 상황을 악화시켰다. 제3부 인구 통계적 표류 (population drift). 제4부 단 하나의 적대적 에이전트가 군집 전체를 뒤집었다.

2026년 8월.

이것은 먼 미래의 계획 단계가 아닙니다. 바로 몇 주 뒤의 일입니다.

EU AI Act의 고위험 (high-risk) 규정이 발효됩니다. 여러분의 멀티 에이전트 파이프라인 (multi-agent pipeline) — 채용 시스템, 고객 지원 라우터, 콘텐츠 중재 스택, 리스크 평가 도구 등 — 이 규제 대상이 됩니다.

여러분은 컴플라이언스 (compliance) 체크리스트를 펼칩니다. 요구 사항을 여러분의 아키텍처 (architecture)에 매핑하기 시작합니다. 그리고 무언가를 깨닫게 됩니다.

이 규제는 하나의 AI 시스템이 한 가지 일만 수행하는 세상을 상정하고 작성되었습니다. 여러분의 파이프라인에는 30개의 에이전트가 30가지 일을 수행하며, 제3부와 제4부에서 문서화했던 방식으로 서로에게 영향을 미치고 있습니다.

컴플라이언스 (compliance) 체크리스트에는 그에 대한 항목이 없습니다.

규제는 "편향 (bias)"을 정의하지 않습니다.

다시 한번 읽어보십시오.

역사상 가장 포괄적인 AI 규제인 EU AI Act는 "편향 (bias)"이라는 단어를 정의하지 않습니다.

정의된 68개의 용어 목록에도 없습니다. 제3조 (Article 3)에도 없습니다. 그 어디에도 없습니다.

"편향 (Bias)"은 제공자가 방지해야 할 대상으로 규제 전반에 걸쳐 등장합니다. 그것이 무엇을 의미하는지, 어떻게 측정하는지, 어떤 지표가 통과 기준에 부합하는지는 명시되어 있지 않습니다.

# 규제 내용 (의역)
제10조 (Article 10): 제공자는 훈련 데이터 (training data)에서 발생 가능한 편향을 조사해야 한다.
제15조 (Article 15): 배포 후 학습 (post-deployment learning)을 수행하는 시스템은 편향된 출력 (biased outputs)을 모니터링해야 한다.
...

따라서 제공자는 자신이 통과할 수 있는 지표를 직접 선택합니다.

이것은 부정행위가 아닙니다. 이것이 바로 (규제의) 간극입니다.

"통과할 수 있는 지표를 선택한다"는 말이 들리는 것보다 더 나쁜 이유.

세 가지 표준 공정성 지표 (fairness metrics)가 있습니다. 이 세 가지를 동시에 만족시키는 것은 불가능합니다. 이는 공학적 한계가 아닙니다. 수학적 불가능성입니다. 이미 발표된 증명이 있습니다. Chouldechova (2017).

# 세 가지 공정성 지표 (단순화)

# 1. 통계적 패리티 (Statistical Parity, 인구통계학적 패리티)
...

통계적 패리티 (statistical parity)를 통과하는 채용 파이프라인이 균등 기회 (equalized odds) 기준에서는 탈락할 수 있습니다. 교정 (calibration) 기준을 통과하는 신용 점수 시스템이 인구통계학적 패리티 (demographic parity) 기준에서는 탈락할 수 있습니다. 두 시스템 모두 "준수 (compliant)" 상태입니다. 하지만 두 시스템 모두 서로 다른 정의에 따라 편향되어 있습니다.

규제는 편향 방지를 요구하지만, 어떤 편향을 방지해야 하는지에 대한 표준은 제공하지 않습니다.

[

]

이제 멀티 에이전트 시스템 (multi-agent systems)의 구체적인 문제입니다.

이 법안에는 편향을 다루는 두 개의 조항이 있습니다.

**제10조 (Article 10)**는 입력 측 편향 (input-side bias)을 다룹니다. 훈련 데이터 (training data). 모델에 들어간 것. "데이터 세트에서 발생 가능한 편향을 조사할 것."

**제15조 (Article 15)**는 출력 측 편향 (output-side bias)을 다룹니다. 하지만 배포 후 학습 (post-deployment learning)을 하는 시스템에만 해당됩니다. 지속적 학습 (continuous learning)이 없다면? 제15조는 적용되지 않습니다.

그렇다면 에이전트들이 서로 상호작용하며 발생하는 창발적 편향 (emergent bias)은 어떻게 될까요? 제3부와 제4부에서 다루었던 그런 종류의 편향 말입니다. 개별 에이전트는 모두 깨끗한 상태를 유지하며 통과하지만, 집단 수준 (population level)에서 나타나는 그런 편향은 어떻게 되는 것일까요?

                        제10조          제15조
                     (입력/학습)    (출력/학습)

...

그것은 두 조항 모두를 빠져나갑니다.

그것은 학습 데이터 (training data)에 있는 것도 아니고, 개별적인 출력 (individual output)도 아닙니다. 그것은 에이전트들 사이의 공간에서 나타납니다. 규제는 그 공간을 위해 설계되지 않았습니다.

"조화된 표준 (harmonised standards)이 이를 명확히 할 것입니다."

그것이 계획이었습니다.

조화된 표준의 원래 마감 기한: 2025년 4월. 8개월 지연되었습니다.

새로운 목표: 2026년 4분기. 고위험 (high-risk) 규정이 발효된 이후입니다.

이 사실을 잘 생각해보십시오. 준수 방법을 설명하는 표준이, 당신이 준수해야 하는 날짜가 지난 후에 도착합니다.

표준이 도착하더라도, 그것은 개별 시스템의 편향 테스트 (bias testing)를 다룰 것입니다. 창발적인 집단 수준의 편향 (emergent population-level bias)을 다루는 것이 아닙니다. 멀티 에이전트 오케스트레이션 (multi-agent orchestration)도 아닙니다. 적대적인 2% (adversarial 2%)도 아닙니다.

전체 규제 환경을 검토한 Future Society는 다음과 같이 결론지었습니다: "공백이 남아 있다."

이것은 올해 발표된 그 어떤 정책 문서에서도 가장 절제된 표현입니다.

이것이 당신에게 실질적으로 의미하는 바.

만약 당신이 EU에 배포되는 고위험 멀티 에이전트 시스템 (high-risk multi-agent system)을 구축하고 있다면:

compliance_status = {
    "individual_agent_bias_testing": "필수, 제10조에 의해 다뤄짐",
    "training_data_documentation": "필수, 제10조에 의해 다뤄짐",
...

당신의 멀티 에이전트 시스템은 규제 대상입니다. 하지만 그것이 직면한 구체적인 위험들은 현재의 프레임워크 하에서 감사 (auditable)할 수 없습니다. 당신은 모든 준수 검사를 통과하고도 1부에서 4부에서 다루었던 편향 문제들을 여전히 가질 수 있습니다.

인구 수준의 테스트 (Population-level testing)는 요구되지 않습니다. 또한, 그것이 이 문제를 포착할 수 있는 유일한 방법이기도 합니다.

그렇다면 어떻게 해야 할까요?

그럼에도 불구하고 테스트를 수행하십시오. 규제가 그것을 요구하기 때문이 아닙니다. 규제는 당신이 테스트를 하지 않았을 때 발생하는 결과로부터 당신을 보호해 줄 수 없기 때문입니다.

만약 당신의 파이프라인 (pipeline)이 채용, 신용, 중재 (moderation), 의료 경로 배정 등 사람에 관한 결정을 내리고 있다면, 컴플라이언스 (compliance) 체크리스트가 불완전하다고 해서 책임 (liability)이 사라지지는 않습니다. 그것은 단지 무엇을 확인해야 하는지 아무도 알려주지 않았음을 의미할 뿐입니다. 피해는 여전히 발생합니다. 소송도 여전히 발생합니다. 홍보 (PR) 위기도 여전히 발생합니다.

규제는 천장이 아니라 바닥입니다. 그리고 그 바닥에는 구멍이 뚫려 있습니다. 더 높게 쌓아 올리십시오.

다음 예고, 6부작 중 제6부: 여섯 가지의 나쁜 소식. 이제 실제로 도움이 되는 것이 무엇인지 알려드립니다. 코드 포함. 모니터링 템플릿 포함. "월요일 아침에 바로 실행할 수 있는" 체크리스트 포함. 어떤 것은 완전히 작동하고, 어떤 것은 부분적으로만 작동할 것입니다. 우리는 무엇이 어떤 것인지에 대해 솔직하게 말씀드릴 것입니다.

연구: Meding (2025), Nannini et al. (2026), The Future Society (2025), CEN-CENELEC (2025), Chouldechova (2017). The Future Society의 인용구는 실제입니다. 격차는 실재합니다. 2026년 8월은 매우 곧 다가옵니다.