유럽 연합(EU)의 AI Act는 금지된 관행부터 최소 위험 사용에 이르기까지 **AI 시스템을 위한 위험 기반 프레임워크 (risk-based framework)**를 구축합니다. 규정 (EU) 2024/1689는 이 프레임워크를 수용 불가능한 위험 (unacceptable risk), 고위험 (high risk), 제한적 위험 (limited risk), 최소 위험 (minimal risk)의 네 가지 수준으로 나눕니다. AI 개발자, 벤더 및 기업에게 있어 실질적인 중요성은 명확합니다. 시스템의 위험 범주가 해당 시스템의 사용 가능 여부와, 사용 가능한 경우 기대되는 준수 (compliance), 투명성 (transparency) 및 거버넌스 (governance) 수준을 결정하기 때문입니다.

이 규정은 2024년 8월 1일에 발효되었습니다. 4단계 접근 방식은 모든 AI 사용 사례에 동일한 규제 부담을 적용하는 것을 피하기 위해 설계되었습니다. 대신, 이 법안은 가장 큰 위험을 초래하는 시스템에 대해 가장 엄격한 처우를 남겨두는 한편, 최소 위험 시스템에 대해서는 일반법 이외에 AI Act에 따른 추가적인 부문별 의무를 부과하지 않습니다.

확정적인 참조 자료는 규정 (EU) 2024/1689의 공식 텍스트입니다. 이전의 설명 자료들은 투명성 관련 의무에 대해 약간 다른 명칭을 사용할 수 있지만, 최종 구속력 있는 규정은 EU 기관들에 의해 일관되게 4단계 위험 프레임워크로 설명됩니다.

EU AI Act의 4가지 위험 수준

이 범주들은 단순히 AI 모델이 얼마나 정교한지를 나타내는 라벨이 아닙니다. 이는 AI 시스템의 사용 및 잠재적 영향력을 그에 상응하는 의무와 연결하는 규제 방법입니다. 기업은 단순히 도구를 "저위험"이라고 부르는 것만으로는 자신의 위치를 결정할 수 없습니다. 기업은 AI Act의 프레임워크와 해당 범주와 관련된 의무를 기준으로 시스템을 평가해야 합니다.

수용 불가능한 위험 (Unacceptable-risk) AI는 규제가 금지하는 관행을 다루기 때문에 원칙적으로 가장 명확한 범주입니다. 이는 문서화나 공개를 통해 관리해야 하는 클래스가 아닙니다. 금지된 관행 (A prohibited practice)은 단순히 그 주변에 통제 장치를 추가한다고 해서 수용 가능한 것이 될 수 없습니다.

고위험 (High-risk) AI는 사용될 수 있는 시스템 중에서 가장 집중적인 준수(compliance) 처우를 받습니다. 검증된 프레임워크는 적합성 평가 (conformity assessments) 및 리스크 관리 (risk management)를 포함한 광범위한 의무 사항을 식별합니다. 이로 인해 배포를 고려하는 제공자(provider)와 조직에게는 조기 분류가 특히 중요합니다. 시스템이 고위험군이라는 결정을 뒤늦게 내리게 되면, 이를 거버넌스(govern)하는 데 필요한 작업 내용이 실질적으로 변경될 수 있기 때문입니다.

제한적 위험 (Limited-risk) AI는 특정 투명성 및 감독 의무 (targeted transparency and oversight obligations)와 관련이 있습니다. 이 수준이 중요한 이유는 AI Act가 규제 없는 AI와 엄격하게 규제되는 고위험 시스템 사이의 이분법적 선택에 국한되지 않음을 보여주기 때문입니다. 일부 용도는 고위험 범주에 속하지 않더라도 특정 의무를 수반합니다.

최소 위험 (Minimal-risk) AI는 대부분의 시스템을 포괄하며, AI Act에 따라 일반 법률 외에 추가적인 부문별 의무를 부과하지 않습니다. 그렇다고 해서 이러한 시스템이 결과(consequence)가 없거나 모든 법적 책임에서 면제된다는 의미는 아닙니다. 이는 AI Act의 추가적인 위험 수준 요구 사항이 위의 범주들과 동일한 방식으로 부과되지 않음을 의미합니다.

분류가 AI 거버넌스를 형성해야 하는 이유

AI를 구축, 조달 또는 배포하는 조직의 경우, 이 네 가지 수준은 컴플라이언스 (Compliance) 문제를 단순한 최종 법적 점검이 아닌 거버넌스 (Governance)의 문제로 전환시킵니다. 분류는 제품 설계, 문서화, 통제 (Controls), 벤더 검토 및 배포 승인에 관한 의사결정에 정보를 제공해야 합니다. 결과는 시스템이나 사용 사례 (Use cases)에 따라 달라질 수 있으므로, 모든 AI에 대해 회사 전체에 적용되는 단일 라벨을 사용하는 것은 평가를 대체하기에 유용하지 않을 가능성이 높습니다.

실질적인 거버넌스 프로세스는 다음 네 가지 질문으로 시작할 수 있습니다:

• 어떤 AI 시스템 또는 사용 사례가 평가되고 있는가? 명확한 설명은 실제로 무엇이 분류되고 있는지를 확립합니다.
• 해당 사용 사례가 금지된 관행 (Prohibited practice)에 해당할 수 있는가? 이는 허용된 시스템을 위해 의도된 통제 장치에 투자하기 전에 해결되어야 합니다.
• 시스템이 고위험 (High risk) 조건을 충족하는가? 만약 그렇다면, 적합성 평가 (Conformity assessment) 및 위험 관리 (Risk-management) 의무가 핵심 고려 사항이 됩니다.
• 투명성 (Transparency) 또는 감독 (Oversight) 의무가 적용되는가? 이는 시스템이 고위험이 아닌 경우에도 관련될 수 있습니다.

이러한 접근 방식은 여러 고객이나 시장에 서비스를 제공하는 벤더 (Vendors)에게도 유용합니다. 제품의 기술적 역량만으로는 기업이 모든 구현 사례에서 해당 제품을 어떻게 거버넌스해야 하는지 알 수 없습니다. 배포 컨텍스트 (Deployment context), 적용 가능한 위험 범주, 그리고 그에 따른 의무를 함께 고려해야 합니다.

또한 이 프레임워크는 내부 이해관계자들을 위한 공통된 어휘를 생성합니다. 법무, 보안, 조달, 제품 및 운영 팀은 이 범주를 사용하여 검토의 우선순위를 정하고 전문적인 분석이 필요한 부분을 식별할 수 있습니다. 이는 모든 생성형 AI (Generative AI) 도구, 예측 시스템 (Predictive systems) 또는 자동화된 워크플로 (Automated workflows)를 단일 컴플라이언스 범주로 취급하는 것보다 훨씬 더 실행 가능합니다.

EU AI Act의 위험 프레임워크가 자사의 AI 워크플로 (AI workflows)에 어떤 영향을 미치는지 평가하는 조직은 기술적 배포 결정과 운영 통제를 연결하는 AI 거버넌스, 아키텍처 및 구현 계획 (AI governance, architecture and implementation planning)에 대해 Scalevise와 협력할 수 있습니다.

자주 묻는 질문 (Frequently Asked Questions)

EU AI Act의 4가지 위험 수준은 무엇인가요?

4가지 수준은 수용 불가능한 위험 (unacceptable risk), 고위험 (high risk), 제한적 위험 (limited risk), 그리고 최소 위험 (minimal risk)입니다. 이 수준들은 AI 관행이 금지되는지, 혹은 어떤 수준의 의무가 적용되는지를 결정합니다.

수용 불가능한 위험에 해당하는 AI 시스템은 어떻게 되나요?

EU AI Act는 수용 불가능한 위험으로 분류된 AI 관행을 금지합니다. 이들은 사용을 허용하는 컴플라이언스 (compliance) 경로의 대상이 되지 않습니다.

고위험 AI 시스템에는 어떤 의무가 적용되나요?

고위험 시스템은 적합성 평가 (conformity assessments) 및 위험 관리 (risk-management) 요구 사항을 포함하여, 해당 프레임워크에 따라 광범위한 의무를 집행받게 됩니다.

최소 위험 AI에도 AI Act 의무가 적용되나요?

검증된 4단계 프레임워크에 따르면, 최소 위험 시스템은 일반 법률 외에 AI Act에 따른 추가적인 부문별 의무가 없습니다.

기업이 AI 시스템을 분류해야 하는 이유는 무엇인가요?

분류를 통해 AI 시스템 또는 유스케이스 (use case)를 금지부터 고위험 통제 또는 특정 투명성 요구 사항에 이르기까지 관련 규제 결과와 연결할 수 있기 때문입니다.

결론

EU AI Act의 4가지 위험 수준은 이 규제의 핵심적인 조직 원리를 제공합니다. 금지된 관행, 고위험 시스템, 제한적 위험 용도 및 최소 위험 AI를 분리함으로써, 이 프레임워크는 조직이 각 시스템의 규제 처리에 맞춰 거버넌스 노력을 조정하도록 안내합니다. 따라서 정확한 분류는 의미 있는 AI 컴플라이언스 (compliance) 계획을 위한 출발점입니다.