작년, 우리 팀에서 LLM을 사용한 사내 문서 요약 기능을 출시했다. 정밀도 검증도 수행했고, 이용 가이드라인도 만들었다. 그럼에도 불구하고 반년 뒤에 발생한 것은 「요약이 미묘하게 사실과 다른 내용을 포함하고 있었고, 그것이 그대로 고객용 보고서에 전사되었다」라는 인시던트(Incident)였다.

원인을 추적해 보니, 가이드라인은 존재했지만 아무도 일상적으로 참조하지 않고 있었다. 검증 플로우(Flow)도 최초 출시 시점에 한 번 돌렸을 뿐, 모델 업데이트 후에는 아무도 다시 수행하지 않았다. 요컨대, 거버넌스(Governance)가 「문서」로서 존재할 뿐 「운영」으로서 기능하지 못하고 있었다.

이 경험을 통해 느낀 점은, AI 거버넌스는 「정책을 쓰는」 단계에서 「일일 업무에 편입시키는」 단계로 이행하지 않으면 의미가 없다는 것이다. EU AI Act의 시행이 다가오고, 일본에서도 AI 사업자 가이드라인 논의가 활발해지고 있는 지금, 현장의 엔지니어와 프로덕트 매니저(Product Manager)가 「구체적으로 무엇을 해야 하는지」를 파악할 수 있는 책이 필요해지고 있다.

이번에 소개하는 4권은 전체상 파악부터 구현 레벨의 통제까지 단계적으로 커버할 수 있는 구성으로 선정했다. 영어 서적이 중심이지만, 모두 프레임워크(Framework)나 도표가 풍부하여 코드를 작성하는 사람에게도 접근하기 쉬운 것을 우선했다.

Sunil Soares는 데이터 거버넌스(Data Governance) 영역에서 오랫동안 컨설팅을 수행해 온 실무가로, 과거에도 데이터 품질 및 메타데이터 관리와 관련된 저서를 여러 권 출간했다.

이 책의 가장 큰 특징은 EU AI Act와 NIST AI Risk Management Framework를 「별개의 규제」로 해설하는 것이 아니라, 하나의 내부 통제 체계로 매핑(Mapping)하고 있다는 점에 있다. 현장에서 빈번하게 발생하는 문제로 「규제마다 별도의 체크리스트가 증식하여 아무도 전체상을 파악할 수 없다」는 것이 있는데, 그 부분에 직접적으로 접근하고 있다.

각 컨트롤(Control)에 대해 무엇을 문서화하고, 누가 승인하며, 어떻게 모니터링(Monitoring)할지가 구체적으로 기술되어 있다. 거버넌스를 「원칙 모음」에서 「체크리스트」로 변환하는 작업을 저자가 대신 해주고 있다는 느낌으로 읽을 수 있다.

내가 깊게 공감한 부분은 인간에 의한 감시(Human oversight)의 정의를 어떻게 운영 레벨로 떨어뜨릴 것인가에 대한 장이다. 「Human oversight」라는 용어는 규제 문서에 빈번하게 등장하지만, 실제 워크플로우(Workflow)에서 무엇을 의미하는지는 모호해지기 쉬운데, 그 부분을 명확히 해주는 점이 고맙다.

이런 분께: 사내 AI 거버넌스 체제를 설계하는 입장에 있으며, 복수의 규제 프레임워크를 통합한 구현 로드맵이 필요한 엔지니어링 매니저(Engineering Manager)나 컴플라이언스(Compliance) 담당자.

편집진은 공공 정책, 경제학, 국제 관계론 등 다양한 분야의 연구자로 구성되어 있다. 학술적인 포괄성과 실무로의 접지력이 균형을 이룬 핸드북이다.

AI 거버넌스의 「지도」를 얻고 싶을 때 최적인 한 권. 법 규제, 공정성, 프라이버시(Privacy), 설명 책임, 의료·금융·정부와 같은 도메인별 논점이 장별로 정리되어 있다. 통독할 필요 없이 자신이 지금 직면하고 있는 과제에 대응하는 장만 찾아보면 된다.

이 책의 가치는 논의의 프레이밍(Framing)에 있다. 거버넌스 이야기는 종종 「AI는 위험하니까 규칙으로 묶어야 한다」와 「혁신을 저해하지 마라」라는 이분법적 대립에 빠지곤 한다. 본서는 그 배후에 있는 트레이드오프(Trade-off) 구조, 인센티브 설계, 제도 설계의 선택지를 냉정하게 제시해 준다.

사내에서 AI 이용 방침 논의가 분규할 때, 감정론에 휩쓸리지 않고 논점을 정리하기 위한 어휘와 구조를 제공해 주는 책으로서 유용하게 활용하고 있다.

이런 분께: AI 거버넌스의 전체상을 조망하고 싶은 사람, 사내 의사 결정자에게 근거 있는 제안을 하고 싶은 사람, 특정 도메인에서의 거버넌스 논점을 레퍼런스(Reference)로서 찾아보고 싶은 사람.

Collin Brown III는 실무에서 AI 출력물의 품질 관리에 힘써온 배경을 가지고 있으며, 본서가 그의 첫 단독 저서가 된다.

다루는 테마는 「AI의 출력을 어떻게 검증하고 신뢰할 수 있게 만들 것인가」라는 매우 실천적인 질문이다. 본서가 제시하는 VERA 프레임워크는 Verification(검증), Error detection(오류 탐지), Reliability(신뢰성), Alternative paths(대안 경로)의 앞 글자를 딴 것으로, 시간적 제약이 있는 업무 속에서 검증 단계를 어떻게 구성할지에 초점을 맞추고 있다.

거버넌스라고 하면 상류의 방침 책정을 떠올리기 쉽지만, 이 책은 「납품물에 AI 출력이 섞여 있는 현장」에 포커스하고 있다. 할루시네이션(Hallucination)이 발생했을 때 어떻게 에스컬레이션(Escalation)할지, 백업 워크플로우를 어떻게 설계할지까지 깊이 있게 다루고 있어, 대규모 컴플라이언스 부서를 갖추지 못한 중소 규모 팀에서도 실행 가능한 입도로 쓰여 있다.

개인적으로 와닿았던 점은 "AI의 출력이 그럴싸해 보일 때, 사람은 리뷰를 생략한다"라는 지적이다. 내 팀에서 발생했던 인시던트(Incident)와 정확히 같은 구조였으며, 검증을 "의지"가 아닌 프로세스(Process)로서 강제하는 메커니즘의 필요성을 다시금 느꼈다.

이런 분께: LLM의 출력을 일상적인 업무에 사용하고 있는 팀의 리더, 품질 보증(QA) 메커니즘을 가볍게 구축하고 싶은 엔지니어.

④ AI Governance Ethics: Artificial Intelligence with Shared Values and Rules — Christoph Stückelberger 외

Globethics는 국제적인 윤리 연구 네트워크이며, 본서는 여러 저자가 참여한 공저이다. 법학, 윤리학, 기술의 교차점에서 활동하는 연구자들이 모여 있다.

많은 기업이 "AI 윤리 원칙"을 공표하고 있지만, 그것이 실제 설계 판단이나 운용에 영향을 미치는 경우는 드물다. 본서가 반복해서 던지는 질문은 "공정성을 중시하겠다고 한다면, 설계·배포(Deploy)·모니터링(Monitoring)의 어느 단계에서 무엇을 바꿀 것인가"라는 구체화에 대한 요구다.

기술서라기보다는 사고의 프레임워크(Framework)를 제공하는 책에 가깝다. 다만, 윤리적인 질문을 "막연한 이상론"에 머물게 하지 않고, 규칙화·제도화로 연결하는 프로세스를 보여준다는 점에서 거버넌스 설계의 "왜(Why)"를 보강하는 역할을 한다.

내가 이 책을 높게 평가하는 이유는, 컴플라이언스(Compliance) 언어 뒤에 숨기 쉬운 "애초에 무엇을 위해 거버넌스를 하는가"라는 질문으로 되돌려 보내주기 때문이다. 체크리스트를 채우는 것이 목적이 되어버릴 것 같을 때, 원점을 확인하기 위한 한 권으로서 곁에 두고 있다.

이런 분께: AI 윤리 원칙을 책정하는 입장에 있는 사람, 기존의 원칙을 실효성 있는 메커니즘으로 변환하고 싶은 사람, 다문화·다거점의 스테이크홀더(Stakeholder)와 공통 언어를 만들고 싶은 사람.

현재의 과제별로 한 권을 고른다면:

• "무엇부터 시작해야 할지 모르겠다" → The Oxford Handbook of AI Governance로 전체상을 파악
• "규제 대응 로드맵이 필요하다" → AI Governance로 통제 설계에 착수
• "AI 출력의 품질 사고를 방지하고 싶다" → AI You Can Actually Trust로 검증 프로세스 구축
• "윤리 원칙이 형식화되어 있다" → AI Governance Ethics로 원칙과 운용의 연결을 재검토

거버넌스는 한 번 만들고 끝나는 결과물이 아니라, 매일 업데이트해 나가는 운용 그 자체다. 나 자신도 인시던트를 경험하고 나서야 비로소 그 실감을 얻었다. 이 책들이 같은 과제에 직면한 누군가에게 도움이 되기를 바란다.