금융 서비스 분야에서 관리되지 않는 AI 컴플라이언스(Compliance)는 단순한 거버넌스 문제가 아닙니다. 이는 분기마다 가중되는 규제적 부채(Regulatory liability)입니다. 신용 점수 산정, 투자 자문 또는 고객 프로파일링을 위해 AI를 도입하는 유럽 금융 서비스 중소기업(SMEs)은 GDPR, EU AI Act, 그리고 MiFID II에 따른 의무를 동시에 직면하게 됩니다. 대부분의 기업은 이 세 가지 계층 모두에 걸친 문서화된 컴플라이언스 프레임워크 없이 운영되고 있습니다.

요약(TL;DR): 금융 서비스 중소기업(SMEs)은 GDPR, EU AI Act, MiFID II라는 삼중 컴플라이언스 스택(Triple compliance stack)에 직면해 있습니다. 본 심층 분석에서는 각 계층에 대한 워크플로우 수준의 가이드를 제공합니다.

대부분의 AI 거버넌스 가이드는 단일 대상, 즉 범용 기업을 위해 작성됩니다. 이들은 데이터 보호, 알고리즘 책임성(Algorithmic accountability), 또는 부문별 규제 중 하나만을 다루며, 세 가지를 동시에 다루는 경우는 드뭅니다. 20인 규모의 자산 관리 회사, 지역 신용 조합, 또는 보험 청구 분류를 위해 AI를 사용하는 보험 중개업체에게 이러한 격차는 곧 부채가 됩니다.

유럽 금융 서비스 중소기업(SMEs)은 항상 명확하게 드러나지는 않는 방식으로 교차하는 삼중 컴플라이언스 스택에 직면해 있습니다. GDPR은 개인 데이터가 AI 시스템으로 유입되고 유출되는 방식을 규제합니다. EU AI Act는 고위험(High-risk)으로 분류된 AI 시스템에 구조적 요구 사항을 부과하며, 여러 일반적인 금융 AI 도구들이 정확히 이 범주에 해당합니다. MiFID II와 PSD2는 세 번째 계층을 추가합니다. 만약 AI 시스템이 고객 권고나 거래에 영향을 미친다면, 상담사는 그 근거를 설명할 수 있어야 합니다. 이 세 가지 프레임워크는 단순히 공존하는 것이 아니라, 단일 컴플라이언스 스프레드시트로는 포착할 수 없는 복합적인 의무를 생성합니다.

이 기사는 금융 서비스 중소기업(SMEs)의 컴플라이언스 책임자(Compliance officers), CEO, CFO에게 세 가지 계층 모두를 생각할 수 있는 구조적인 방법과, 현재의 AI 사용을 각 계층에 따라 감사(Auditing)하기 위한 시작점을 제공합니다.

금융 서비스 중소기업(SMEs)이 특히 취약한 이유

대형 금융 기관들은 법무 부서, 전담 AI 윤리 팀, 그리고 수십 년에 걸쳐 구축된 컴플라이언스 (Compliance) 인프라를 보유하고 있습니다. 반면, 25명 규모의 독립 금융 자문사는 고객 온보딩 (Onboarding)을 병행하는 컴플라이언스 담당자 한 명과, 여가 시간에 규제안을 읽는 CEO 한 명을 두고 있습니다.

이러한 비대칭성은 매우 중요합니다. 규제 기관들이 AI Act (AI 법) 의무 사항에 대해 기업 규모에 맞춰 집행 기대치를 조정하지 않기 때문입니다. 2021년에 발표되어 감독 기대치에서 점점 더 많이 인용되고 있는 머신러닝 (Machine Learning)에 관한 EBA 가이드라인은 규모와 관계없이 모든 기관에 적용됩니다. EU AI Act의 고위험 (High-risk) 조항은 자격 요건을 갖춘 시스템을 배치하는 모든 조직에 적용되며, 중소기업 (SME)을 위한 예외 조항은 없습니다.

이 리스크는 이론적인 것이 아닙니다. 금융 서비스 AI 시스템은 EU AI Act의 부속서 III (Annex III) 고위험 목록에 불균형적으로 많이 포함되어 있습니다. 만약 다음과 같은 용도로 AI를 사용하고 있다면, 귀하는 거의 확실하게 고위험 시스템을 운영하고 있는 것입니다:

• 신용 점수 산정 (Credit scoring) 또는 신용도 평가 (Creditworthiness assessment)
• 보험 리스크 점수 산정 (Insurance risk scoring) 또는 언더라이팅 (Underwriting) 지원
• 자동화 또는 AI 지원 투자 권고 (Investment recommendations)
• 상품 적합성을 위한 고객 금융 프로파일링 (Customer financial profiling)

이러한 목적으로 기성 (Off-the-shelf) AI 도구를 사용하는 대부분의 기업은 요구되는 적합성 평가 (Conformity assessment)를 완료하지 않았거나, EU AI Act 데이터베이스에 시스템을 등록하지 않았습니다. 이것이 바로 이 글이 다루고자 하는 격차입니다.

레이어 1: 금융 서비스에서의 GDPR과 AI

대부분의 금융 기업이 잘 알고 있는 GDPR 의무 사항인 동의 (Consent), 정보 주체의 권리 (Data subject rights), 침해 통지 (Breach notification) 등은 AI가 등장함에 따라 추가적인 차원을 갖게 됩니다.

AI 학습을 위한 데이터 최소화 (Data minimisation). GDPR 제5조 제1항 (c)는 개인 데이터가 적절하고, 관련성이 있으며, 목적 달성에 필요한 범위 내로 제한되어야 한다고 규정합니다. 금융 서비스 기업이 고객 데이터를 사용하여 AI 모델을 미세 조정 (Fine-tuning)하거나, 거래 내역을 스코어링 도구 (Scoring tool)에 입력할 때, 최소화 원칙은 단순히 운영 데이터뿐만 아니라 학습 데이터에도 적용됩니다. 많은 기업이 AI 벤더가 모델 학습 과정에서 어떤 개인 데이터를 처리하는지 감사하지 않았습니다. 벤더 계약은 명시적으로 제한되지 않는 한, 모델 개선을 위한 데이터의 광범위한 재사용을 허용하는 경우가 많습니다.

AI 생성 분석에 대한 정당한 이익 (Legitimate interest) 대 동의 (Consent). AI가 포트폴리오 검토나 적합성 보고서와 같이 고객 대상의 금융 분석을 생성할 때, 법적 근거가 중요합니다. 분석을 위해 제6조 제1항 (f)에 따른 정당한 이익이 자주 활용되지만, 개인을 프로파일링 (Profiling)하는 AI 생성 출력물은 막연한 가정이 아닌 문서화된 정당한 이익 평가 (LIA, Legitimate Interest Assessment)를 필요로 합니다. 만약 출력물이 조언에 영향을 미친다면, 동의 (Consent)가 더 방어 가능한 근거가 될 수 있습니다.

제22조 및 자동화된 의사결정 (Automated decision-making). GDPR 제22조는 개인에게 법적 또는 이와 유사하게 중대한 영향을 미치는 전적으로 자동화된 의사결정의 대상이 되지 않을 권리를 부여합니다. 자동화된 신용 결정, 자동화된 보험 가격 책정, AI 생성 적합성 권고는 모두 이 범위에 포함됩니다. 설령 인간 상담사가 검토하고 승인하더라도, 명목상의 인간 검토만 거친 채 AI 출력물이 결정의 주요 동인(Driver)이라면 제22조의 보호가 여전히 적용될 수 있습니다. 요구되는 보호 조치는 다음과 같습니다: 인간의 검토를 받을 권리, 이의를 제기할 권리, 그리고 관련된 로직 (Logic)에 대한 설명입니다.

AI 생성 고객 보고서에는 투명성이 필요합니다. GDPR 제13조 및 제14조에 따라, 정보 주체는 자동화된 처리의 로직에 대해 안내받아야 합니다. 귀사의 분기별 포트폴리오 검토가 부분적으로 AI에 의해 생성된다면, 개인정보 처리방침 (Privacy notice)에 이를 명시해야 하며, 고객이 이해할 수 있는 언어로 작성되어야 합니다.

레이어 2: EU AI Act 및 고위험 금융 시스템

EU AI Act의 부속서 III(Annex III)는 고위험 (high-risk)으로 분류되는 AI 시스템의 범주를 나열하고 있습니다. 금융 서비스 분야의 중소기업(SMEs)은 이 목록을 주의 깊게 읽어야 합니다. 왜냐하면 분류 기준은 기술적 정교함이 아니라 기능 (function)에 따라 결정되기 때문입니다. 세 가지 입력값을 사용하는 가벼운 스코어링 알고리즘 (scoring algorithm)이라 할지라도, 복잡한 신경망 (neural network)과 동일한 기능을 수행한다면 똑같이 고위험으로 분류됩니다.

금융 서비스에서 고위험이란 무엇인가: 신용도 평가 (creditworthiness assessment), 신용 점수 산정 (credit scoring), 보험 리스크 평가 (insurance risk evaluation), 그리고 자동화된 투자 자문 (automated investment advice)에 사용되는 AI 시스템은 부속서 III에 명시적으로 나열되어 있습니다. 이는 해석의 문제가 아닙니다.

고위험 분류가 요구하는 사항:

1. 배포 전 기본권 영향 평가 (FRIA, fundamental rights impact assessment) 실시
2. 명목상에 그치지 않는 실질적인 인간 감독 (human oversight) 메커니즘 구축
3. 사고 후 감사 (post-incident audit)에 충분한 시스템 입력 및 출력 로그 기록
4. 정확성, 강건성 (robustness), 편향성 테스트 (bias testing)를 입증하는 기술 문서 작성
5. EU AI Act 데이터베이스 등록 (법안 시행일 이후 배포되는 시스템의 경우)

고위험 시스템에 대한 컴플라이언스 (compliance) 부담은 상당하며, 중소기업(SMEs)이 범하는 주요 실패 유형은 벤더 (vendor)로부터 도구를 구매했기 때문에 컴플라이언스 의무 또한 벤더가 부담한다고 가정하는 것입니다. EU AI Act에 따르면, 모델을 누가 구축했는지와 관계없이 시스템을 고객과 함께 사용하는 기업인 배포자 (deployer)가 배포자 의무를 집니다.

25인 규모의 독립 재무 상담사(IFA)에게 고위험 분류가 실무적으로 의미하는 바

AI 지원 적합성 도구 (suitability tool)를 사용하는 25명의 직원을 보유한 독립 재무 상담사 (IFA)는 운영 측면에서 매우 중요한 의무에 직면하게 됩니다.

해당 기업은 AI의 결과물이 고객 자문에 영향을 미치기 전에, 인간 상담사가 이를 검토하고 거부 (override)할 수 있었음을 입증할 수 있어야 합니다. 문서화된 검토 없이 상담사가 AI의 권고 사항에 대해 단순히 "수락"을 클릭하는 워크플로우 (workflow)는 감독 요구 사항을 충족하지 못합니다.

기업은 AI 시스템이 무엇을, 언제, 어떤 고객 프로필에 대해 권고했는지에 대한 로그 (logs)를 보관해야 합니다. 이러한 로그는 EU AI Act와 MiFID II 기록 보관 규칙(record-keeping rules) 중 더 긴 기간 동안 요구되는 최소 기간 동안 보관되어야 합니다.

기업은 고객에게 피해를 입힌 AI 오류를 탐지하고 대응하기 위한 프로세스를 갖추어야 합니다. EU AI Act의 제73조는 관련 국가 시장 감시 당국에 대한 중대한 사건 보고 (serious incident reporting)를 요구합니다.

이 모든 과정이 전담 AI 컴플라이언스 (compliance) 팀을 필요로 하는 것은 아닙니다. 다만 문서화된 절차, 지정된 책임자, 그리고 최소한 분기별 검토 주기 (review cadence)를 요구합니다. 월간 거버넌스 검토 템플릿이 시작점이 될 수 있습니다.

세 번째 계층: MiFID II, PSD2, 그리고 설명 가능성의 필수성

MiFID II는 AI를 염두에 두고 설계되지는 않았지만, 그 요구 사항은 EU AI Act보다 앞서 실질적인 설명 가능성 (explainability) 의무를 생성합니다.

MiFID II에 따라 투자 자문을 제공하는 기업은 모든 권고 사항의 근거를 문서화해야 합니다. 만약 AI 시스템이 해당 권고에 기여했다면, 상담사는 왜 해당 AI 출력값이 그 고객에게 적절했는지 설명할 수 있어야 합니다. "알고리즘이 그렇게 말했다"는 것은 준수 가능한 답변이 아닙니다.

이는 모델 선택에 있어 실질적인 제약을 만듭니다. 출력을 해석 가능한 특징 (interpretable features)으로 추적할 수 없는 블랙박스 (black-box) 모델은 단순한 AI Act의 리스크가 아니라 MiFID II의 리스크입니다. 고객 대면 권고를 위해 AI를 사용하는 기업은 설명 가능성을 '있으면 좋은 것'이 아닌, 조달 기준 (procurement criterion)으로 요구해야 합니다.

PSD2는 결제 서비스 제공업체(payment service providers)에 대해 관련 요구 사항을 추가합니다. AI를 사용하는 강력한 고객 인증 (strong customer authentication) 및 거래 모니터링 시스템은 감사 가능 (auditable)해야 합니다. 고객의 자금 접근에 영향을 미치는 오탐 (false positives)을 생성하는 AI 기반 부정 결제 탐지 (fraud detection)는 문서화된 검토 프로세스를 필요로 합니다.

3단계 컴플라이언스 감사: 단계별 체크리스트

이 감사는 AI 전문 지식이 없는 컴플라이언스 담당자(compliance officer)가 2~3영업일 이내에 완료할 수 있도록 설계되었습니다. 이 과정은 모든 가능한 문제를 다루는 것이 아니라, 가장 우선순위가 높은 격차(gaps)를 드러내는 데 목적이 있습니다.

1단계: AI 인벤토리 (AI inventory). 공식적인 조달 절차 없이 개별 직원이 사용하는 도구를 포함하여, 현재 기업 전반에서 사용 중인 모든 AI 도구를 목록화합니다. 여기에는 벤더(vendor) 명칭, 수행 기능, 그리고 고객의 개인 데이터(personal data)가 처리되는지 여부를 포함해야 합니다.

2단계: 고위험 분류 점검 (High-risk classification check). 각 도구에 대해 부속서 III(Annex III) 테스트를 적용합니다: 해당 시스템이 신용도 평가(creditworthiness assessment), 보험 리스크 스코어링(insurance risk scoring), 투자 적합성 분석(investment suitability analysis), 또는 고객 금융 프로파일링(client financial profiling)을 수행합니까? 만약 그렇다면, 고위험(high-risk)으로 표시하고 4단계로 진행합니다.

3단계: GDPR 데이터 흐름 매핑 (GDPR data flow mapping). 각 AI 도구에 대해 다음 사항을 문서화합니다: 어떤 개인 데이터가 벤더에게 전송되는지, 어떤 법적 근거(legal basis)에 의한 것인지, 데이터 처리 합의서(Data Processing Agreement, DPA)가 체결되어 있는지, 그리고 해당 DPA가 학습 데이터(training data) 사용을 제한하고 있는지 여부.

4단계: 고위험 컴플라이언스 격차 평가 (High-risk compliance gap assessment). 각 고위험 시스템에 대해 다음을 확인합니다: 기본권 영향 평가(fundamental rights impact assessment)가 문서화되어 있는가? 의미 있는 인간의 감독(human oversight) 절차가 존재하는가? 입력/출력 로그(input/output logs)가 보관되고 있는가? 시스템이 등록되었거나 등록 절차를 밟고 있는가?

5단계: MiFID II 설명 가능성 점검 (MiFID II explainability check). 고객 자문이나 제품 추천에 영향을 미치는 모든 AI 시스템에 대해: 어드바이저(advisor)가 고객과 규제 기관이 수용할 수 있는 용어로 출력값(output)을 설명할 수 있는가? 만약 그렇지 않다면, 더 해석 가능한 모델(interpretable model)을 사용할 수 있는가?

6단계: 고객 투명성 검토 (Client transparency review). AI가 생성한 보고서나 권고 사항이 개인정보 처리방침(privacy notice)을 통해 고객에게 공개되고 있는가? 자동화된 결정에 이의를 제기할 수 있는 GDPR 제22조(Article 22)의 권리가 고지되고 있는가?

팀을 구축하지 않고 거버넌스 역량 구축하기

위에서 설명한 거버넌스 부담은 실재하지만, 중소기업(SME) 규모에서 전담 팀을 구축할 필요는 없습니다. 직원이 50명 미만인 대부분의 금융 서비스 중소기업은 단기적으로 정규직을 채용하는 것보다 분할형 AI 거버넌스 모델(fractional AI governance model)을 활용하는 것이 더 효율적입니다.

모델의 형태와 관계없이 타협할 수 없는 사항은 다음과 같습니다: AI 컴플라이언스(AI compliance)를 담당하는 지정된 책임자, 각 고위험(high-risk) 시스템에 대한 문서화된 절차, 거버넌스 검토 주기, 그리고 이사회 수준의 보고 체계입니다.

자주 묻는 질문 (Frequently Asked Questions)

대형 벤더의 AI 도구만을 사용하는 금융 중소기업(SMEs)에도 EU AI 법(EU AI Act)이 적용되나요?

네, 그렇습니다. EU AI 법은 제공자(providers, AI 시스템을 구축하고 마케팅하는 주체)와 배포자(deployers, 최종 사용자나 고객과 함께 AI 시스템을 사용하는 주체) 모두에게 의무를 부여합니다. 벤더의 AI 스코어링(scoring) 도구를 사용하는 금융 중소기업은 배포자에 해당하며, 모델을 누가 구축했는지와 관계없이 유의미한 인간의 감독(meaningful human oversight) 및 사고 보고를 포함한 배포자로서의 의무를 집니다.

EU AI 법에 따른 "유의미한 인간의 감독(meaningful human oversight)"은 실제로 무엇을 요구하나요?

유의미한 감독이란 인간 검토자가 AI의 출력값을 무효화(override)할 수 있는 능력과 권한을 가지고, 이를 실질적으로 검토할 시간을 확보하며, 독립적으로 평가할 수 있는 충분한 정보에 접근할 수 있음을 의미합니다. 어드바이저(advisors)가 독립적인 평가 없이 AI의 권고 사항을 단순히 승인만 하는 거수기(rubber-stamp)식 프로세스는 이 요구 사항을 충족하지 못합니다. 기록을 보관하는 문서화된 검토 단계가 최소한의 표준입니다.

자동화된 투자 자문은 항상 고위험 AI 시스템에 해당하나요?