작성자: Luke Sobieraj, Digital Colliers 설립자 및 COO

만약 당신이 유럽 대출 기관에서 신용 결정(Credit decisioning) 업무를 수행하고 있다면, 이미 상황은 변했습니다. 2023년 12월에 내려진 SCHUFA 판결(C-634/21)은 자동화된 신용 점수 산정(Credit scoring)을 GDPR(일반 데이터 보호 규정) 하의 제22조(Article 22) 결정으로 취급했습니다. 이는 AI Act(인공지능법)의 고위험(High-risk) 의무가 발효되는 2027년이 아니라, 지금 당장 노출 위험이 발생하고 있음을 의미합니다.

제가 대화하는 대부분의 신용 팀들은 요청 시 즉시 제시할 수 있는 세 가지 산출물(Artefacts)을 여전히 만들어내지 못하고 있습니다: 최신 모델 카드(Model card), 피처(Features)를 소스 시스템과 연결하는 데이터 계보(Data lineage) 문서, 그리고 실제 사람이 경계선에 있는 사례들을 검토했음을 보여주는 인간 검토 로그(Human-review log)입니다. 만약 내일 규제 기관이나 원고 측 변호사가 이를 요구한다면, 답변은 누군가의 노트북에 있는 Slack 스레드나 Jupyter notebook이 될 것입니다.

SCHUFA가 실제로 바꾼 것

이 판결은 두 가지를 확정했습니다. 첫째, 신용 제공 여부를 실질적으로 결정하는 점수는 설령 하류(Downstream) 단계에서 사람이 공식적으로 승인하더라도 그 자체로 자동화된 결정(Automated decision)이라는 점입니다. 둘째, 전체 점수 산정 파이프라인을 GDPR 제22조 체제 안으로 끌어들였으며, 이는 로직(Logic)에 대한 의미 있는 정보와 더불어 실질적인 이의 제기 권리를 의미합니다.

따라서 2027년 12월 2일에 AI Act의 고위험 의무가 적용될 때, 당신은 백지 상태에서 시작하는 것이 아닙니다. 이미 2023년 말부터 집행 가능했던 GDPR 노출 위에 두 번째 체제를 쌓는 격입니다. GDPR의 과징금 상한선은 전 세계 매출액의 4% 또는 2,000만 유로 중 더 높은 금액입니다. AI Act는 고위험 위반에 대해 여기에 추가로 매출액의 3% 또는 1,500만 유로를 더합니다.

방어 가능한 모델 카드란 어떤 모습인가

모델 카드(Model cards)는 과거에 ML(머신러닝) 팀의 위키(Wiki)를 위한 있으면 좋은 산출물 정도였습니다. 하지만 현재의 체제 하에서 모델 카드는 규제 기관에 제출할 주요 증거가 됩니다. 방어 가능한 모델 카드는 최소한 다음 사항들을 포함해야 합니다:

• 실제 운영 중인 정확한 모델 버전 (해시 값 및 배포 날짜 포함)

• 학습 데이터의 출처 (Provenance) (데이터 컷오프 날짜 및 제외된 인구 집단 포함)

• 입력 피처 (Input features), 해당 피처의 소스 시스템 및 갱신 주기 (Refresh cadence)

• 가능한 경우, 보호된 특성 (Protected characteristic)별로 분류된 성능 지표

• 알려진 실패 모드 (Failure modes) 및 인간의 검토 (Human review)로 라우팅하는 임계값 (Thresholds)

• 재학습 주기 (Retraining cadence) 및 승인권자

대부분의 팀이 놓치는 부분은 마지막 항목입니다. 특정 인물과 날짜가 명시된 모델 카드 (Model card)는 통제 수단 (Control)입니다. 모델을 추상적으로 설명하는 모델 카드는 마케팅 문서에 불과합니다.

감사(Audit)에서 실패하는 부분은 리니지(Lineage)입니다

모델 카드는 우아하게 실패합니다. 하지만 데이터 리니지 (Data lineage)는 처참하게 실패합니다. 만약 고객이 제22조(Article 22)에 따라 거절 결정에 이의를 제기한다면, 당신은 점수에서부터 원천 필드(Raw fields)까지, 모든 조인(Join)과 모든 피처 변환(Feature transform)을 거슬러 올라가며, 어떤 날짜의 어떤 상류 테이블(Upstream table)이 해당 결정을 이끈 값을 생성했는지 보여주어야 합니다.

이 과정을 제대로 수행하는 운영자들은 리니지를 누군가 Lucidchart에 그린 다이어그램이 아니라, 파이프라인의 일급 객체(First-class artefact)로 취급합니다. 실무적으로 이는 다음을 의미합니다:

• 피처 스토어 (Feature store) 항목에 SQL 및 소스 테이블 참조 정보가 포함됨
• 결정 로그(Decision log)에 기록되는 모든 점수에 피처 세트 버전이 포함됨
• 소스 시스템 추출 데이터는 불변(Immutable)하며 날짜가 기록되어 있어 재현(Replay)이 가능함
• 인간의 개입(Human overrides)은 검토자 신원, 타임스탬프, 사유 코드와 함께 기록됨

지난 6년 동안의 어떤 결정이라도 재현하여 동일한 점수를 산출할 수 있다면, 당신은 리니지를 갖춘 것입니다. 만약 그렇지 못하다면, 당신은 그저 다이어그램을 가지고 있을 뿐입니다.

아무도 예산을 책정하지 않은 통합 작업

이것이 바로 2026년 로드맵을 조용히 잠식하고 있는 부분입니다. 당신의 데이터 과학 스택은 노트북, 피처 스토어, MLflow 등 하나의 세계에 존재합니다. 반면 당신의 컴플라이언스 레지스트리 (Compliance registry)는 GRC 도구, 정책 문서, 2025년 1월 17일부터 시행된 DORA 보고 등 또 다른 세계에 존재합니다. 이 두 세계를 잇는 연결 고리를 책임지는 사람은 아무도 없습니다.

따라서 모델 카드 (Model Card)는 일종의 데이터 과학 팀 저장소 (repo)에 존재합니다. 리스크 레지스터 (Risk Register)는 2차 방어선 GRC (Governance, Risk, and Compliance) 도구에 존재합니다. 이 둘의 동기화가 어긋나기 시작하면 — 그리고 반드시 어긋나게 될 것입니다 — 컴플라이언스 산출물 (compliance artefact)이 잘못된 것이 됩니다. 왜냐하면 그 산출물에 대해서는 아무도 CI (지속적 통합, Continuous Integration)를 실행하지 않기 때문입니다.

2027년에 문제없이 살아남을 팀들은 모델 레지스트리 (Model Registry)와 컴플라이언스 레지스트리 (Compliance Registry)를 하나의 통합된 시스템으로 취급할 것입니다. 모든 모델 배포는 컴플라이언스 측으로 이벤트를 전송합니다. 컴플라이언스 측의 모든 정책 변경은 ML (머신러닝) 팀으로 검증 태스크를 다시 전송합니다. 이는 지루한 배관 작업 (plumbing)과 같습니다. 하지만 이는 감사를 통과하느냐, 아니면 글로벌 매출액의 4%를 벌금으로 내느냐를 결정짓는 차이이기도 합니다.

만약 귀하의 신용 모델이 SCHUFA 판결 이전에 운영 환경 (production)에 투입되었고, 그 이후 아무도 이를 다시 문서화 (re-paper)하지 않았다면, 그것이 바로 귀하가 해야 할 일입니다. AI Act (인공지능법) 마감 기한을 기다린다고 해서 그 작업량이 줄어들지는 않을 것입니다.

출처

• 유럽연합 사법재판소 (Court of Justice of the European Union)

• 유럽 위원회 (European Commission)

• 유럽 위원회 (European Commission)

이 기사는 원래 Digital Colliers Blog에 게시되었습니다. Digital Colliers는 DACH(독일어권) 및 영국 기업의 AI 도입을 지원합니다 — 당사의 AI 컨설팅 서비스를 확인하거나 문의하기를 이용해 주세요.