데이터 리니지(Data Lineage)부터 모델 카드(Model Cards)까지: AI 거버넌스의 실질적인 중추

AI는 알고리즘으로 시작되지 않습니다. 데이터, 결정, 문서화, 그리고 거버넌스(Governance)로부터 시작됩니다.

데이터가 어디에서 왔는지, 어떻게 수집되었는지, 어떻게 변했는지, 혹은 당신의 AI 시스템이 무엇을 해야 하는지 설명할 수 없다면, 당신은 이미 리스크를 안고 있는 것입니다. 모델 코드가 단 한 줄이라도 실행되기 전부터 말이죠.

핵심 아이디어는 이것입니다: AI의 무결성(Integrity)은 데이터의 무결성에 의존한다. 그것이 전부입니다. 그것이 메시지입니다.

데이터 무결성은 출처(Provenance)와 리니지(Lineage)에서 시작된다

신뢰할 수 있는 AI 시스템을 구축하려면, 모델에 입력되는 모든 데이터 조각의 전체 이력을 알아야 합니다.

**데이터 출처 (Data provenance)**는 다음 질문에 답합니다: 이것은 어디에서 왔는가? 기원, 수집 방법, 처리자, 변환 과정.

**데이터 리니지 (Data lineage)**는 다음 질문에 답합니다: 어떤 여정을 거쳤는가? 모델에 도달하기 전 어떻게 이동하고, 병합되고

모델 카드 (Model card)는 머신러닝 (Machine learning) 모델과 함께 제공되는 짧고 표준화된 문서입니다. 이를 쉬운 언어로 작성된 감사 추적 (Audit trail)이라고 생각하십시오. 이는 책임감 있는 AI (Responsible AI) 개발에서 가장 실질적인 도구 중 하나이지만, 대부분의 팀은 여전히 이를 일관되게 사용하지 않고 있습니다.

강력한 모델 카드는 다음을 포함합니다:

섹션	포함 내용
모델 상세 정보 (Model details)	아키텍처 (Architecture), 버전 (Version), 출시일 (Release date), 제작자 (Creator)
...

모델 카드는 AI의 투명성 (Transparency), 책임성 (Accountability), 재현성 (Reproducibility)을 가능하게 합니다. 또한 팀이 특정 맥락에서 작동했던 모델이 모든 곳에서 작동할 것이라고 가정하는 것을 방지합니다. 모델 카드는 또한 AI 규제 준수 (Regulatory compliance) 프레임워크에서 기본적으로 기대되는 기준이 되고 있습니다.

당신이 반드시 답해야 할 첫 번째 AI 거버넌스 질문

모델을 선택하거나 인프라 (Infrastructure)를 구축하기 전에 다음을 질문하십시오:

우리가 해결하려는 문제는 무엇인가?
이 AI 시스템은 어떤 의사결정을 지원하거나 자동화할 것인가?
어떤 데이터가 필요하며, 그 데이터는 어디에서 오는가?
모델이 틀렸을 경우 AI 리스크 (AI risks)는 무엇인가?
출력값에 의해 누가 영향을 받는가? 작업의 성격에 따라 서로 다른 AI 거버넌스 통제 (Governance controls)가 필요합니다. 고객 서비스 챗봇, 신용 리스크 점수 산정 모델, 의료 분류 도구는 동일한 리스크를 지니지 않습니다. 이들을 동일하게 취급하는 것은 무모한 일입니다.

학습 방법의 차이는 거버넌스 요구사항의 차이를 의미함

방법 (Method)	기능	AI 거버넌스 고려사항
지도 학습 (Supervised learning)	레이블이 지정된 예시로부터 학습	레이블 품질이 중요함. 레이블의 편향 (Bias)은 모델 출력의 편향과 동일함.
...

강화학습 (Reinforcement learning)은 모든 AI 리스크 프레임워크에서 특별한 주의를 기울여야 합니다. 강화학습은 인간이 용납할 수 없거나 해롭다고 판단하는 결과를 생성하면서도 보상 (Reward)을 최대화하는 법을 배울 수 있습니다. 이것이 바로 강화학습 시스템에 영향 평가 (Impact assessments), 인간 참여형 감독 (Human-in-the-loop oversight), 지속적인 모니터링 (Continuous monitoring), 그리고 명확한 잔류 리스크 (Residual risk) 문서화가 필요한 이유입니다.

NLP, 회귀 (Regression), 의사결정 나무 (Decision Trees), RPA: 거버넌스 목적을 위해 차이점을 파악하십시오

도구 (Tool)	기능	거버넌스 수준
NLP (Natural Language Processing, 자연어 처리)	인간의 언어를 분석하고 생성함	높음. 편향성 (Bias), 독성 (Toxicity), 환각 (Hallucination), 프롬프트 인젝션 (Prompt Injection) 위험 존재.
...

여기서 얻을 수 있는 AI 거버넌스의 교훈은 간단합니다. 모든 자동화 시스템이 동일한 위험 프로필 (Risk Profile)을 갖는 것은 아니라는 점입니다. 규칙 기반 자동화 (Rule-based automation), 예측 모델 (Predictive models), 대규모 언어 모델 (Large Language Models, LLM), 그리고 적응형 학습 시스템 (Adaptive learning systems)은 각각 서로 다른 감독 전략을 필요로 합니다. 이들을 하나의 카테고리로 묶는 것은 사각지대를 만드는 실수입니다.

AI 거버넌스는 모든 것을 연결하는 계층입니다

AI 거버넌스는 단순한 컴플라이언스 (Compliance, 준수) 체크박스가 아닙니다. 그것은 AI를 사용 가능하고, 신뢰할 수 있으며, 영향을 받는 사람들에게 책임질 수 있게 만드는 통제 시스템입니다.

효과적인 AI 거버넌스를 위해서는 다음이 필요합니다:

AI 라이프사이클 (Lifecycle)의 모든 단계에서의 명확한 문서화
신뢰할 수 있는 데이터 출처 (Data provenance) 및 데이터 리니지 (Data lineage) 추적
모델과 함께 이동하는 모델 카드 (Model cards) 및 성능 기록
명시적인 범위 외 사용 사례 (Out-of-scope uses)를 포함하여 정의된 의도된 사용 사례 (Intended use cases)
AI 위험 평가 (AI risk assessments) 및 알고리즘 영향 평가 (Algorithmic impact assessments)
이해관계가 높은 경우의 인간의 감독 (Human oversight)
모델 드리프트 (Model drift) 및 공정성 (Fairness)을 위한 배포 후 모니터링
잔류 위험 (Residual risks)에 대한 문서화
시스템을 업데이트, 이의 제기 또는 은퇴시키기 위한 정의된 프로세스

가장 중요한 것은 기술적 성능만으로는 충분하지 않다는 점입니다.

모델이 정확하더라도 여전히 불공정할 수 있습니다.
모델이 효율적이더라도 여전히 안전하지 않을 수 있습니다.
모델이 보상 신호 (Reward signal)를 최적화하더라도 인간이 실제로 가치 있게 여기는 것을 놓칠 수 있습니다.

목표는 단순히 작동하는 AI 시스템을 구축하는 것이 아닙니다. 목표는 처음부터 증거, 감독, 그리고 책임성이 내재된 방식으로 책임감 있게 작동하는 AI 시스템을 구축하는 것입니다.

그것이 AI 거버넌스입니다. 그것이 우리가 해야 할 일입니다.