ISO 표준이 실제로 기업용 AI를 더 윤리적으로 만들까?

현재 "AI 거버넌스 플랫폼 (AI governance platform)"을 판매하는 모든 벤더는 당신에게 똑같은 말을 할 것입니다. ISO 인증을 받으면 편향성 (bias), 불투명성 (opacity), 책임성 (accountability)과 같은 당신의 AI 문제들이 기본적으로 사라질 것이라고 말이죠. 하지만 현실은 더 복잡합니다. ISO 표준은 AI 거버넌스에 대한 논의를 진정으로 변화시켰지만, 대부분의 사람들이 생각하는 것보다 더 좁은 질문에 답하고 있으며, 약속한 것과는 정반대의 목적으로 조용히 무기화될 수도 있습니다.

실제로 무엇이 들어있는지 살펴봅시다.

현재 존재하는 표준들

AI 관련 ISO/IEC 작업은 단일 문서가 아니라, 주로 ISO/IEC JTC 1/SC 42 위원회에서 제작하는 성장하는 제품군입니다:

가장 핵심적인 것은 2023년 12월에 최초의 인증 가능한 AI 경영 표준으로 발표된 ISO/IEC 42001입니다. Microsoft, AWS, 그리고 점점 늘어나는 기업용 AI 벤더들이 현재 이 인증을 보유하고 있으며, 이는 컴플라이언스 (compliance) 팀이 거버넌스를 처음부터 구축할 필요가 없도록 기존의 ISO 9001/27001 인프라에 끼워 맞춰지도록 명시적으로 설계되었습니다.

실제로 개선되는 점

마케팅을 걷어내고 보면 42001은 실질적인 역할을 수행합니다:

• 문서화된 기록(Paper trail)을 강제합니다. 리스크 레지스터(Risk registers), 문서화된 AI 목표, 모델을 프로덕션(Production)에 배포할 때 승인 권한을 가진 책임자가 누구인지 정의하는 과정 등이 포함됩니다. 오늘날 AI를 도입하는 대부분의 기업은 이러한 체계가 전혀 없습니다.
• 제3자에 의한 감사가 가능합니다. 기업이 스스로 작성한 내부적인 "AI 윤리 강령 (AI ethics charter)"과 달리, 인증(Certification)은 조직 외부의 누군가가 프로세스가 존재하며 제대로 준수되고 있는지를 확인했음을 의미합니다.
• 상호 운용이 가능합니다. ISO 경영 시스템(Management-system)의 골격을 재사용하기 때문에, 이미 ISO 27001을 운영 중인 기업은 처음부터 다시 시작할 필요 없이 이미 유지 관리하고 있는 시스템을 확장하기만 하면 됩니다.
• 규제 기관에 근거를 제공합니다. EU AI Act(EU 인공지능법) 하에서 조화된 표준(Harmonized standards)은 일부 의무 사항에 대해 "적합성 추정 (Presumption of conformity)"을 생성할 것으로 기대됩니다. 이는 인증된 기업이 규제 기관이 무엇을 원하는지 추측하는 대신, 더 명확하고 빠른 준수(Compliance) 경로를 확보할 수 있음을 의미합니다.

이는 결코 작은 일이 아닙니다. 오늘날 많은 "AI 윤리"는 채용 페이지에 적힌 가치 선언문에 불과합니다. 42001은 적어도 감사인이 증거를 바탕으로 확인할 수 있는 무언가를 만들어냅니다.

한계점 — 그리고 역효과가 날 수 있는 부분

여기서부터는 컴플라이언스(Compliance) 브로슈어가 생략하는 내용입니다.

프로세스 인증은 결과 인증이 아닙니다. 42001은 AI 리스크를 관리하기 위한 "시스템을 갖추고 있음"을 인증하는 것이지, 특정 모델이 공정하거나, 편향되지 않았거나, 안전하다는 것을 인증하는 것이 아닙니다. 고위험 AI의 자기 인증(Self-certification)을 연구하는 연구자들은 42001 감사를 통과했다고 해서 특정 AI 시스템이 EU AI Act의 실질적인 요구 사항을 자동으로 충족한다는 의미는 아니라고 명시적으로 지적해 왔습니다. 만약 차별 문제가 서류상으로 "리스크 평가 (Risk-assessed)"되었다면, 실제 프로덕션 환경에서 여전히 차별을 일으키는 모델을 대상으로도 교과서적으로 완벽한 AI 관리 프로세스를 운영할 수 있습니다.

자발적이며 본질적으로 상당 부분 자기 선언적입니다. 기업이 인증 범위를 과도하게 주장하는 것을 막을 방법은 없습니다. 예를 들어, 실제 리스크가 존재하는 특정 제품 라인은 조용히 제외하면서 인증을 "조직 전체"에 적용하는 식의 행태를 막을 수 없습니다.

그것은 방지하고자 했던 바로 그 '윤리 세탁 (ethics-washing)'이 될 수 있습니다. 기업의 AI 윤리 이니셔티브를 연구하는 학자들은 기업들이 윤리적 의례(위원회, 헌장, 체크리스트 등)의 언어와 의식을 수행하는 법을 배우면서도, 정작 그 의례들이 이끌어내기로 되어 있었던 구조적 변화는 만들지 않는 패턴을 설명합니다. 로비에 걸린 액자에 담긴 ISO 인증서는 그러한 퍼포먼스를 위한 거의 완벽한 소품이 되는데, 이는 외부에서 보기에 매우 엄격해 보이기 때문입니다.

이는 대기업 위주로 확장됩니다. 인증 심사에는 비용과 인력이 소모됩니다. AI 기능을 가장 빠르게 출시하는 중소기업(SMEs) 및 스타트업들은 — 종종 거버넌스(governance) 성숙도가 가장 낮음에도 불구하고 — 인증을 추진할 가능성이 가장 낮습니다. 결과적으로 이 표준은 기존의 컴플라이언스 (compliance) 역량이 이미 가장 강력한 곳에서 가장 잘 채택되는 결과를 낳습니다.

그렇다면, ISO 표준이 기업용 AI를 더 윤리적으로 만들까요?

대체로 그렇습니다. 다만, 그것은 AI를 더 '관리 가능하게 (governable)' 만들 뿐이며, 이는 윤리적 행동을 위한 전제 조건이지 보증은 아닙니다. ISO 42001을 윤리적 인장이라기보다는 연기 감지기에 가깝다고 생각하십시오. 불을 끄지는 못하지만, 나중에 아무도 불이 나는 것을 보지 못했다고 주장하기는 훨씬 어렵게 만듭니다.

표준은 전체 스택(stack)이 아니라, 스택의 한 계층으로서 작동할 때 가장 효과적입니다:

• 조직 수준의 관리 시스템을 위한 ISO/IEC 42001
• 개별 시스템에 대한 리스크 및 영향 평가를 위한 ISO/IEC 23894 / 42005
• ISO가 완전히 다루지 못하는 기술적 리스크 어휘를 위한 NIST의 AI RMF와 같은 프레임워크 (framework)
• 단순한 서류 검토가 아닌, 실질적인 강제력을 가진 실제 외부 감사
• 인증 루프 외부의 사람들이 주장을 확인할 수 있도록 하는 대중 공개 투명성 (모델 카드 (model cards), 시스템 카드 (system cards))

ISO/IEC 42001이 실제 EU AI 법(EU AI Act)의 의무 사항과 어떻게 매핑되는지에 대해 더 깊고 지속적인 읽을거리를 원하신다면, WasaConf 연구 허브의 연구 노트가 이 교차점을 한 번의 포스트에 담을 수 있는 것보다 더 자세하게 추적하고 있습니다.

추가 읽을거리

• ISO/IEC 42001:2023 — 공식 표준 페이지
• 고위험 AI 시스템의 자기 인증 (Self-Certification of High-Risk AI Systems) (arXiv)
• WasaConf — ISO 42001 및 EU AI Act 연구

여러분의 팀은 AI 거버넌스 (AI governance)를 위해 실제로 무엇을 하고 있나요? 실제 관리 시스템 (management system)인가요, 아니면 가치관을 나열한 슬라이드인가요, 아니면 그 중간 어디쯤인가요? 일반적인 기업-벤더 피치 덱 (pitch decks) 이외의 실제 모습이 어떠한지 궁금합니다.