AI 거버넌스는 구현 단계로

2026년 5월 20일, EU의 AI Act(AI 법)에 맞춰 Microsoft와 EU의 주요 연구기관(Fraunhofer, ETH Zurich, European AI Office)이 공동으로 "기업이 생성 AI를 안전하게 도입하기 위한 구현 가능한 거버넌스 기준안"을 발표했다.

이 움직임은 AI 거버넌스가 이념에서 실무로 이행했음을 상징하는 것으로 보인다.

특히 생성 AI는 행정·의료·금융 등 고위험 영역에서의 활용이 급속히 진행되는 한편, 투명성·설명 가능성·데이터 경계와 같은 과제가 현저해지고 있다.

이번 기준안은 이러한 과제에 대해 기업이 실제로 어떤 메커니즘을 정비해야 하는지를 구체적으로 제시했다는 점에서 획기적이다.

일본에서도 AI 활용이 본격화되는 가운데, SIer와 젊은 엔지니어들에게 이 기준안은 **다음 시대의 요구사항 정의 (Requirements Definition)**를 이해하기 위한 중요한 지침이 될 것이라고 고찰하고자 한다.

기업이 정비해야 할 6가지 기둥

이번 기준안은 기업이 생성 AI를 안전하게 운용하기 위한 6가지 기둥을 정의하고 있다. 이것들은 단순한 체크리스트가 아니라, AI를 업무에 통합할 때의 **설계 사상 (Design Philosophy)**으로서 기능한다.

| 기둥 |
|---|---|
| 투명성 |
모델의 이용 목적, 데이터 경계, 출력의 성질을 명시하는 메커니즘 |
| 설명 가능성 |
추론 과정의 가시화, 근거 제시, 의료·행정용 설명 책임 |
| 데이터 경계 관리 |
개인정보·기업 데이터의 분리, 로그 관리, 액세스 제어 |
| 모델 평가 |
편향 (Bias), 환각률 (Hallucination rate), 공격 내성의 정기적인 평가 |
| 안전성 및 회복 탄력성 (Resilience) |
Jailbreak 대책, 프롬프트 공격 방어, 이상 탐지 |
| 감사 가능성 |
추적 가능한 로그, 의사결정 프로세스의 기록, 외부 감사 대응 |

Microsoft가 강조한 것은 "AI의 안전성은 벤더뿐만 아니라 이용 기업 측의 책임이기도 하다"라는 점이다.

즉, AI를 도입하는 기업은 시스템 구축과 동일한 수준으로 거버넌스를 설계해야 하며, 이는 SIer가 담당하는 역할이 시스템 도입에서 AI 거버넌스 구현 지원으로 확장됨을 의미할 것이다.

행정 DX·기업 AI 도입의 새로운 전제 조건

EU의 AI Act는 역외 적용을 가지기 때문에, 일본 기업도 유럽향 서비스를 제공하는 경우에는 준수가 요구된다.

나아가 이번 기준안은 국제적인 사실상의 표준(De facto standard)으로 취급될 가능성이 높으며, 일본의 행정 DX나 기업 AI 도입에도 직접적인 영향을 미친다.

특히 행정 영역에서는 주민 서비스, 문서 요약, 다국어 대응 등 AI 활용이 급속히 확산되는 한편, 설명 책임과 투명성 확보가 필수적이다.

일본의 지자체는 AI를 도입할 때 "투명성", "설명 가능성", "데이터 경계"를 요구사항 정의에 포함할 필요가 생길 것이다. 기업에 있어서도 AI를 사용한 의사결정의 근거를 나타내는 메커니즘이나 데이터 경계의 명확화가 요구된다.

특히 금융·의료·제조 등 고위험 영역에서는 이번 기준안이 그대로 도입의 전제 조건이 될 가능성이 높다.

일본의 SIer는 단순히 AI를 결합하는 것뿐만 아니라, 거버넌스를 포함한 "AI 시스템 전체의 설계자"로서의 역할이 기대된다.

AI 거버넌스를 무기로 삼기

이번 기준안은 SIer의 젊은 층에게 다음 커리어의 방향성을 보여주는 중요한 지침이 된다.

AI 도입은 이제 기술만으로는 성립되지 않으며, 거버넌스·데이터 관리·설명 책임·감사 대응과 같은 영역이 불가결해진다. 즉, 젊은 엔지니어가 갖추어야 할 것은 "AI를 안전하게 사용하게 만들기 위한 설계력"이다.

| 스킬 영역 |
| 젊은 층이 갖추어야 할 내용 |
|---|---|
| AI 거버넌스 설계 |
투명성·설명 가능성·데이터 경계의 요구사항화 |
| 프롬프트 공격 대책 |
Jailbreak 방어, 입력 검증, 이상 탐지 |
| AI 리스크 평가 |
편향, 환각률, 공격 내성의 평가 기법 |
| 행정·금융용 요구사항 정의 |
설명 책임·감사 대응을 포함한 요구사항화 |

앞으로는 AI 거버넌스를 이해하고 구현할 수 있는 엔지니어가 향후 행정 DX·기업 AI 도입에 있어 가장 가치 높은 인재가 될 것이다.

Discussion