EU AI Act에 따라 귀하의 SaaS 기능이 실제로 고위험(High-risk)에 해당하는 시점은 언제인가? Annex III 결정 트리

요약 (TL;DR). EU AI Act의 Annex III는 8가지 고위험 (High-risk) 카테고리를 나열합니다. 만약 귀하의 AI 기능이 이 중 하나에 해당한다면, 막대한 준수 사항 (적합성 평가 (Conformity assessment), 기술 문서 (Technical file), 인간의 감독 (Human oversight), EU 데이터베이스 등록)을 이행해야 합니다. 해당하지 않는다면 제한적 위험 (Limited-risk) 또는 최소 위험 (Minimal-risk)에 해당하며 부담이 훨씬 적습니다. 대부분의 SaaS 팀은 이 단계를 잘못 분류합니다. 여기 제가 모든 감사 (Audit)에서 사용하는 3가지 질문 결정 트리와 최근 고객 작업에서 얻은 8가지 실제 사례가 있습니다. 코드는 하단에 있습니다. 오픈 소스 저장소에 이 과정을 대신 실행해 주는 classify.py 스크립트가 있습니다.

제가 SaaS 팀들이 저지르는 가장 비용이 많이 드는 실수는 적합성 평가 (Conformity assessment)를 피하고 싶어서 고위험 (High-risk) 기능을 "제한적 위험 (Limited-risk)"이라고 부르는 것입니다. 두 번째로 비용이 많이 드는 실수는 그 반대입니다. 규칙이 무섭게 들린다는 이유로 모든 것을 고위험 (High-risk)으로 분류하여 불필요한 서류 작업에 파묻히는 것입니다.

EU AI Act의 Annex III는 8가지 고위험 (High-risk) 영역을 나열합니다. 귀하의 AI 기능이 이 중 하나에 해당한다면, Article 50의 투명성 의무 (Transparency duties)보다 더 다르고 무거운 의무 사항을 적용받게 됩니다. 귀하의 기능이 이 중 어느 것에도 해당하지 않는다면, 아마도 제한적 위험 (Limited-risk) 또는 최소 위험 (Minimal-risk)일 것이며, 준수 부담은 훨씬 가볍습니다.

이 포스트는 제가 모든 감사 (Audit)에서 사용하는 결정 트리와 저희가 감사한 실제 SaaS의 8가지 사례를 담고 있습니다.

Annex III의 8가지 영역, 쉬운 설명

생체 인식 식별 및 분류 (Biometric identification and categorisation). 얼굴 인식 (Face recognition), 식별을 위한 음성 인식 (voice recognition), 보행 인식 (gait recognition). 생체 인증 (biometric verification, 지문 잠금 해제와 같은 1:1 매칭)은 제외됩니다.
핵심 인프라 (Critical infrastructure). 물, 가스, 전기, 교통 관리. 대부분 SaaS 범위를 벗어납니다.
교육 및 직업 훈련 (Education and vocational training). 입학 관리, 성적 산출, 시험 중 모니터링, 학업 결과 예측.
고용 및 근로자 관리 (Employment and worker management). 이력서 (CV) 스크리닝, 성과 평가, 업무 할당, 해고 결정, 모니터링.
필수 공공 및 민간 서비스에 대한 접근 (Access to essential public and private services). 신용도 점수 산정 (Creditworthiness scoring), 공공 혜택 자격 여부, 긴급 서비스 파견, 건강 및 생명 보험의 가격 책정 또는 보장 범위 결정.
법 집행 (Law enforcement). 개인에 대한 위험 평가, 거짓말 탐지기 (polygraph) 스타일의 시스템, 증거 신뢰성 평가.
이주, 망명, 국경 통제 (Migration, asylum, border control). 위험 평가, 문서 검증, 비자 처리.
사법 행정 및 민주적 절차 (Administration of justice and democratic processes). 사실 관계 조사, 법률 해석, 유권자 영향력 행사.

SaaS의 경우, 가장 자주 접하게 되는 영역은 1, 3, 4, 5번입니다. 나머지는 특정 수직 시장 (verticals)에 제품을 판매하지 않는 한 적용되는 경우가 드뭅니다.

결정 트리 (The decision tree)

저는 모든 AI 기능에 대해 세 가지 질문을 던집니다.

질문 1: 해당 기능이 개인에 대해 결정을 내리는가, 아니면 단순히 개인이 사용하는 도구인가?

만약 기능이 개인을 추천, 순위 매기기, 점수 산정 또는 분류한다면, 귀하는 아마도 Annex III 영역에 해당할 것입니다. 만약 기능이 개인이 문서를 초안하거나, 자신의 텍스트를 요약하거나, 이미지를 생성하는 것을 돕는다면, 귀하는 아마도 해당하지 않을 것입니다.

문법 검사기 (grammar checker)는 고위험이 아닙니다. 하지만 구직자의 글쓰기 품질을 점수화하여 그 점수를 채용 결정에 반영하는 문법 검사기는 고위험에 해당합니다.

질문 2: 그 결정이 개인의 중요한 무언가에 대한 접근 권한에 영향을 미치는가?

Significant(중요한)란 직업, 혜택, 교육 기회, 신용, 보험, 의료 서비스를 의미합니다. 만약 답변이 '예'라면, 귀하는 고위험(High-risk)에 해당합니다. 만약 AI가 사람이 어느 식당에서 먹을지를 결정하는 데 도움을 준다면, 귀하는 해당하지 않습니다.

질문 3: 그 결정이 내려지고 있다는 사실을 사람이 인지하고 있으며, 그 결정에 이의를 제기할 수 있는가?

두 질문 중 어느 하나라도 답변이 '아니오'라면, 귀하는 고위험 영역에 더 깊이 들어와 있으며, Article 5(Article 5, 조작적 AI)에 따른 금지 영역(Prohibited territory)에도 해당할 가능성이 높습니다. Article 5 위험은 Annex III와는 무관하지만, 동일한 감사(Audit) 과정에서 주의 깊게 표시할 가치가 있습니다.

실제 SaaS 감사 사례 8가지

이 사례들은 익명화되었으나 실제 사례입니다. 저는 지난 6개월 동안 이 각각의 사례들을 감사했습니다.

A: AI 이력서 스크리닝 기능이 있는 채용(Recruitment) SaaS.
Annex III(4) 고용(Employment). 고위험(High-risk). 적합성 평가(Conformity assessment), 기술 문서(Technical file), 인간 감독 정책(Human oversight policy), EU 데이터베이스 등록이 필요합니다.

B: AI가 생성한 직무 기술서(JD)를 제공하는 HR SaaS.
AI는 채용 담당자가 직무 기술서(JD)를 작성하는 것을 돕습니다. 채용 담당자가 이를 게시합니다. 지원자에 대한 결정은 이루어지지 않습니다. Article 50(2)(합성 콘텐츠 공개)에 따른 제한적 위험(Limited-risk)에 해당합니다. 고위험이 아닙니다.

C: AI 자동 응답 제안 기능이 있는 고객 지원(Customer support) SaaS.
AI가 응답을 제안하면, 상담원이 그중 하나를 선택합니다. 고객에 대한 자동화된 결정은 없습니다. 상담원의 답변이 AI가 작성한 것으로 전송되는 경우 Article 50(1)에 따른 제한적 위험(Limited-risk)에 해당하며, 그렇지 않으면 최소 위험(Minimal-risk)입니다.

D: AI 신용 점수 산정(Credit scoring) 기능이 있는 대출 플랫폼.
Annex III(5) 신용도(Creditworthiness). 고위험(High-risk). 이 사례는 모호함이 없습니다. 전체 적합성 평가(Full conformity assessment)가 요구됩니다.

E: 성적을 매기지 않는 AI 튜터링 기능이 있는 에듀테크(EdTech) 플랫폼.
AI는 학생들에게 개념을 설명합니다. 성적 산정, 입학 결정, 시험 감독 기능이 없습니다. Article 50(1)에 따른 제한적 위험(Limited-risk)입니다. AI 사용 사실을 공개하면 완료됩니다.

F: 에세이 AI 채점 기능이 있는 에듀테크(EdTech) 플랫폼.
Annex III(3) 교육(Education). 고위험(High-risk). 최종 제출 전에 교사가 AI의 점수를 검토하더라도, AI가 실질적인 채점 작업을 수행하고 있으므로 Annex III가 적용됩니다.

G: 의사가 환자 노트를 작성하도록 돕는 HealthTech SaaS.
의사가 모든 노트를 검토하고 서명합니다. AI는 진단하거나 치료를 권고하지 않습니다. 합성 콘텐츠(synthetic content)에 대한 Article 50(2)에 따라 제한적 위험(Limited-risk)에 해당합니다. Annex III에 해당하지 않습니다.

H: 환자의 증상을 분류(triage)하고 긴급도를 권고하는 HealthTech SaaS.
이 사례는 경계선에 있습니다. 권고 사항이 구속력이 없고 임상의가 최종 결정을 내린다면 제한적 위험(Limited-risk)이 될 수 있습니다. 만약 권고 사항이 누가, 어떤 순서로 진료를 받을지를 결정한다면, 이는 Annex III(5) 필수 서비스에 대한 접근(access to essential services)에 해당합니다. 저희는 감사(audit) 과정에서 이를 고위험(high-risk)으로 분류했으며, 출시 전 팀이 인간 참여형(human-in-the-loop) 체계를 적절히 구축할 것을 권고했습니다.

이를 제대로 수행했을 때와 잘못했을 때의 비용 차이

기능을 제한적 위험(limited-risk)으로 올바르게 분류하면, 공개(disclosure) 사항을 게시하고 해당 결정을 문서화하면 됩니다. 소요 시간: 반나절.

기능을 고위험(high-risk)으로 올바르게 분류하면, 위험 관리 시스템(risk management system), Article 11에 따른 기술 문서(technical file), 인간 감독 정책(human oversight policy), 정확성 및 강건성 테스트(accuracy and robustness testing), 사후 시장 모니터링(post-market monitoring)을 구축하고 EU 데이터베이스에 등록해야 합니다. 소규모 팀 기준으로 소요 시간: 6~12주.

고위험(high-risk)을 제한적 위험(limited-risk)으로 잘못 분류하면, 규정 위반 상태로 운영하게 됩니다. Article 99(3)은 고위험 의무 미준수에 대한 벌칙을 규정하고 있습니다: 최대 1,500만 유로 또는 전 세계 연간 매출액의 3%.

제한적 위험(limited-risk)을 고위험(high-risk)으로 잘못 분류하면, 불필요하게 6주간의 엔지니어링 시간을 낭비하게 됩니다.

분류 단계는 전체 EU AI Act 준수 프로세스에서 가장 중요한 단일 단계입니다. 반드시 올바르게 수행하십시오.

분류기를 직접 실행해 보세요

제가 감사 중에 사용하는 것과 동일한 결정 트리(decision tree)가 오픈 소스 리포지토리(open-source repo)에 단일 Python 스크립트로 구현되어 있습니다. 다섯 가지 질문을 던지며, 위험 범주를 반환합니다.

git clone https://github.com/GatisOzols/eu-ai-act-checklist
cd eu-ai-act-checklist
python3 classify.py

다음 질문을 받게 될 것입니다:

해당 기능이 식별을 위해 실제 개인의 생체 데이터 (biometric data)를 처리합니까?
해당 기능이 개인에 대한 결정을 내리거나 결정에 실질적인 영향을 미칩니까?
해당 결정이 고용, 교육, 신용, 보험, 의료, 공공 혜택, 법 집행, 이주, 사법 분야 중 하나에 해당합니까?
해당 결정의 대상이 되는 개인이 결정이 내려지고 있음을 인지하고 있으며, 이에 대해 이의를 제기할 수 있습니까?
AI가 인간이 작성한 콘텐츠와 혼동될 수 있는 합성 콘텐츠 (synthetic content)를 생성합니까?

결과로 금지 (prohibited) / 고위험 (high-risk) / 제한적 위험 (limited-risk) / 최소 위험 (minimal-risk) 중 하나를 받게 되며, 적용되는 Annex III의 하위 항(sub-paragraph) 또는 Article 50의 하위 조항(sub-clause)이 함께 제공됩니다.

제품 내의 각 AI 기능마다 한 번씩 실행하십시오. 출력 결과(output)를 저장하십시오. 그 출력 결과와 한 단락의 근거(rationale)가 귀하의 자체 감사 기록 (self-audit trail)의 시작이 됩니다.

이 포스트에서 다루지 않는 내용

고위험 시스템 (high-risk systems)을 위한 실제 적합성 평가 (conformity assessment) 서류 작업. 이는 별도의 더 긴 과정입니다.
Chapter V에 따른 범용 AI 모델 (General-purpose AI model)의 의무 사항. 이는 파운데이션 모델 (foundation models)의 제공자에게 적용되며, 이를 사용하는 SaaS에는 거의 적용되지 않습니다.
국가 수준의 이행 사항. 회원국 (Member States)은 법안(Act) 위에 국가별 규칙을 추가할 수 있습니다. 저희는 감사 시 이를 추적하지만, 여기서는 범위 외(out of scope)로 간주합니다.

두 가지 경로

상황이 단순하다면, 오픈 소스 체크리스트만으로도 충분합니다. MIT 라이선스입니다. 상용 제품에 사용하십시오. 포크(Fork)하십시오. 공백을 발견하면 PR(Pull Request)을 보내주십시오.

만약 귀하의 특정 제품에 대해 누군가가 감사를 수행하기를 원하신다면, 그것이 바로 저희 Disclos가 하는 일입니다. 영업일 기준 5일 소요, 1회 997유로, 귀하의 SaaS가 2026년 8월 2일까지 준수(compliant)하지 못할 경우 환불을 보장합니다.

어떤 방식이든, 분류 단계는 다른 모든 컴플라이언스(compliance) 작업보다 먼저 이루어져야 합니다. 이 단계를 건너뛰지 마십시오.

저는 SaaS를 위한 EU AI Act 컴플라이언스(compliance) 실무를 운영하는 Disclos의 운영자입니다. 리가(Riga)에 기반을 두고 있으며, 약 40건의 감사(audit)를 진행했습니다. 위의 오픈 소스 체크리스트는 저희가 SaaS 창업자들에게 이 법안(Act)에 대해 논의하기 시작했을 때, 과연 이런 것이 있었으면 좋겠다고 생각했던 엔지니어용 입문 가이드입니다.

X에서 저를 찾아보세요: @disclosai
이메일: gatis@disclos.eu