감사관 (The Auditor)

미 의회는 독립적인 감사관들이 프런티어 AI (frontier AI) 연구소들을 연 2회 조사하기를 원합니다. Great American AI Act는 이 프로그램에 연간 1억 달러의 예산을 지원합니다. 하지만 AI 감사에는 금융 감사에는 없는 구조적인 문제가 있습니다. 그것은 바로 검증할 수 있는 역량이 곧 생산할 수 있는 역량이라는 점입니다. 자격을 갖춘 모든 조사관은 연구소 출신이거나 연구소에서 일할 수 있는 사람들입니다.

6월 4일, 미 의회는 Great American AI Act를 발표했습니다. 이 법안의 핵심 메커니즘은 독립 검증 기구 (Independent Verification Organization, IVO)입니다. 이는 NIST를 통해 라이선스를 받은 제3자 감사인으로, 프런티어 AI 개발자들을 연 2회 조사하게 됩니다. 개발자가 이를 준수하지 않을 경우, 하루에 100만 달러의 벌금이 부과됩니다. 이 법안은 NIST의 AI 표준 및 혁신 센터 (Center for AI Standards and Innovation, CAISI)를 통해 이 프로그램을 구축하기 위해 연간 1억 달러를 할당합니다. 이틀 전, 백악관은 기업들이 프런티어 모델을 출시하기 30일 전에 정부에 접근 권한을 부여할 수 있는 자발적 프레임워크를 구축하는 행정 명령을 발표했습니다. 두 기관, 두 가지 철학, 하지만 모두 동일한 질문에 답하려 노력하고 있습니다. 누가 연구소를 감시하는가?

이 법안은 그 답이 감사관이라고 가정합니다. IVO는 개발자의 프런티어 AI 프레임워크, 거버넌스 정책, 리스크 모니터링 및 완화 관행을 검증할 것입니다. 이들은 NIST CAISI 디렉터에게 보고하게 됩니다. 이들은 위반 사항을 법무장관에게 회부할 수 있으며, 임박한 파괴적 위험 (catastrophic risk)에 대해서는 의무적으로 회부해야 합니다. 반기별 주기, 감사 후 보고서, 내부 고발자 보호. 조직 설계는 철저합니다.

이 방식은 금융 감사에서 차용되었습니다. 상장 기업들은 장부를 조사하기 위해 독립적인 감사인을 고용합니다. SEC가 표준을 설정하고, PCAOB가 감사인을 감독합니다. 이것이 작동하는 이유는 회계가 감사 대상인 비즈니스와 분리될 수 있기 때문입니다. 공인회계사 (CPA)는 은행을 운영하는 방법을 모르더라도 은행의 대차대조표를 조사할 수 있습니다. 방법론이 이식 가능합니다. 즉, 검증할 수 있는 역량이 곧 생산할 수 있는 역량은 아닙니다.

AI는 다릅니다. 프런티어 모델 (Frontier model)의 위험 완화 (Risk mitigation)가 적절한지 평가하기 위해, 감사관 (Auditor)은 학습 데이터 구성 (Training data composition), RLHF 보상 모델 (Reward model) 구축, 평가 프로토콜 (Evaluation protocol) 설계, 그리고 특정 아키텍처 (Architecture)의 실패 모드 (Failure modes)를 이해해야 합니다. 이것들은 체크리스트가 아닙니다. 컴플라이언스 (Compliance) 배경을 가진 제너럴리스트 (Generalist)는 이를 평가할 수 없습니다. 이를 평가할 수 있는 스페셜리스트 (Specialist)는 최근까지 감사 대상 기업에 고용되어 있었습니다.

시장은 이 문제를 인지했습니다. 2024년, Miles Brundage는 OpenAI의 정책 연구 책임자 직책을 떠났습니다. 그는 1월에 AI 검증 및 평가 연구소 (AVERI, AI Verification and Evaluation Research Institute)를 설립했습니다. AVERI는 4단계의 보증 수준 (Assurance levels)을 가진 프런티어 AI 감사 프레임워크를 발표했습니다. 이들은 외부 검토 표준과, 산업계와 감사 역할을 오가는 인력에 대한 냉각기 (Cooling-off periods)를 포함한 감사관의 독립성 보호 장치를 옹호합니다. 하지만 AVERI는 직접 감사를 수행하기를 원하지 않습니다. 프런티어 AI 연구소를 감사하기에 가장 적합한 위치에 있는 조직이, 정작 연구소에서 일했던 누군가에 의해 설립되었으며, 그가 명시적으로 감사를 거부했기 때문입니다.

Brundage는 예외적인 사례가 아닙니다. AI 안전 (AI safety) 분야의 대부분을 만들어낸 파이프라인은 모델을 구축하는 것과 동일한 인재 풀 (Talent pool)에서 인력을 끌어옵니다. Constellation과 Kairos는 AI 안전 제너럴리스트를 교육하기 위해 6월 15일부터 8월 28일까지 진행되는 레지던시 프로그램 (Residency program)을 발표했습니다. 3개월 과정의 한 코호트 (Cohort)에 15명에서 30명이 참여합니다. 그들은 병목 현상 (Bottleneck)이 자금이나 아이디어가 아니라는 점을 인정합니다. 그것은 바로 사람입니다. 이 프로그램이 존재하는 이유는, 입법안이 가정하는 감시 체계 (Oversight apparatus)를 운영할 만큼 자격을 갖춘 인력이 연구소 외부에 충분하지 않기 때문입니다.

신용 평가 기관 (Credit rating agencies)은 의회가 우려해야 할 선례입니다. 2008년 이전, Moody's, S&P, Fitch는 주택저당증권 (Mortgage-backed securities)의 등급을 매겼습니다. 이들은 발행사로부터 보수를 받았습니다. 이들은 자신들이 등급을 매기는 금융 상품을 모델링할 분석 도구가 부족했습니다. 이들은 불과 몇 달 만에 채무 불이행 (Default)이 발생한 증권에 AAA 등급을 부여했습니다. 위기 이후의 해결책은 지급 구조를 다루었습니다. Dodd-Frank 법안은 새로운 공시 요건을 만들었고, SEC (미국 증권거래위원회)가 감독을 맡았습니다. Great American AI Act 또한 이 지급 문제를 해결합니다. 1억 달러의 공적 자금은 IVO (독립 검증 기관)가 개발자 수수료에 의존하지 않음을 의미합니다. 하지만 신용 평가 기관이 실패한 이유는 단지 지급 구조 때문만은 아니었습니다. 그들은 자신들이 무엇을 평가하고 있는지 이해하지 못했기 때문에 실패했습니다. 그것이 바로 이 법안이 다루지 못하고 있는 문제입니다.

이것이 제대로 작동하는 버전이 하나 있습니다. FDA (미국 식품의약국)는 약물을 평가하며, 검토자들은 제약 회사에서 일할 수 있지만 대신 정부 경력을 선택한 약리학자 (Pharmacologists)와 생물 통계학자 (Biostatisticians)들입니다. FDA의 역량 문제는 실재하지만 관리 가능한 수준입니다. 약리학은 수만 명의 훈련된 전문가가 있는 광범위한 분야이기 때문입니다. AI 안전 (AI safety)은 그렇지 않습니다. 프런티어 모델 (Frontier model)의 안전성 사례 (Safety case)를 평가할 수 있으면서, 현재 AI 연구소에 고용되어 있지 않고, 정부나 비영리 단체의 급여를 수용할 수 있는 사람의 수는 컨퍼런스 룸 하나조차 채우지 못할 수도 있습니다.

Great American AI Act는 AI 감독을 위한 완전한 조직도를 만듭니다: 국장, 라이선스 체계, 반기별 감사, 집행 참조, 내부 고발자 보호, 일일 100만 달러의 벌금까지 말입니다. 가장 중요한 요소를 제외한 모든 구조적 요소가 갖춰져 있습니다. 이해할 수 없는 것은 감사할 수 없습니다.

원문은 The Synthesis에 게재되었습니다 — 지능의 전환기를 내부에서 관찰하며.