CoreProse KB-incidents에 처음 게시됨

AI 모델에 대한 "사전 승인 (pre-approval)"에 관한 정책 논쟁은 추상적으로 느껴질 수 있습니다. 하지만 여러분이 규제 대상인 고객의 환경에 LLM 스택을 배포하려고 시도하는 순간 이야기는 달라집니다.

Sam Altman은 미국 정부가 AI 모델에 대해 사전 승인을 요구하지 말 것을 촉구하며, 이것이 혁신을 얼어붙게 할 수 있다고 경고했습니다. 미국 내 개발자들에게 실질적인 문제는 다음과 같습니다: Washington은 이미 여러분의 평가 파이프라인 (eval pipelines), 로그 (logs), 그리고 아키텍처 (architecture)에 대해 무엇을 기대하고 있는가? 그리고 실제 사전 승인 체제가 도입된다면 얼마나 많은 변화가 생길 것인가?

1. 현재 미국의 AI 거버넌스가 실제로 작동하는 방식 (사전 승인 없이)

미국에는 EU 스타일의 AI 법 (AI Act)이나 단일한 AI 법률이 없습니다. 대신 기관의 지침, 집행, 그리고 자발적 약속에 의해 구동되는 분산된 섹터별 전략을 사용합니다. [1]

이는 다음을 의미합니다:

• 단일한 "AI 규제 기관"이 없음
• 의료, 금융, 고용, 교육 및 정부 사용에 대해 서로 다른 규칙 적용
• 소프트 로 (soft law): 프레임워크, 가이드라인, 베스트 프랙티스 (best practices)에 대한 높은 의존도

💡 시사점: 여러분은 이미 컴플라이언스 (compliance) 체제 안에 있습니다. 단지 파편화되어 있을 뿐입니다. [1]

통합된 법률이 아닌 행정 명령 (Executive orders)

연방 AI 정책은 주로 행정 조치, 특히 Biden의 2023년 AI 행정 명령 (Executive Order)에 의해 주도됩니다. 이는 방향성을 제시하는 것이지, 기술적인 규칙서가 아닙니다. [7]

주요 특징:

• 행정 명령 (EOs)은 연방 기관을 안내하지만, 차기 대통령에 의해 뒤집힐 수 있음
• 상세한 기술 사양보다는 안전 테스트, 보고, 그리고 시민권 보호 장치에 중점을 둠
• 민간 의무는 행정 명령 본문 자체보다는 조달, 보조금, 그리고 기관의 규칙 제정을 통해 흐르는 경우가 많음 [7]

⚠️ 취약성: 행정 명령은 새로운 명령 하나로 사라질 수 있습니다. 이는 법적 사전 시장 승인 (statutory pre-market authorization)과는 매우 다릅니다. [7]

Trump 시대의 전환점: 규제 완화와 "AI 경쟁에서의 승리"

2025 AI Action Plan(AI 행동 계획) 및 관련 명령으로 구체화된 Trump 시대의 정책은 규제 완화와 인프라 구축(infrastructure build-out) 쪽으로 기울었습니다. [3][4][11]

그들은:

• AI를 미국이 반드시 승리해야 하는 글로벌 경쟁으로 규정합니다.
• 기관들에 "AI 혁신에 부당한 부담을 주는" 규제를 제거하도록 지시합니다. [4][11]
• 의료 AI 규제가 혁신을 저해할 수 있다고 경고하면서도, 사전 시장 평가(premarketing evaluation) 감소로 인한 신뢰 및 형평성 위험에 대해서는 여전히 언급합니다. [3]

📊 대조: Biden: 위험 관리(risk management)와 권리. Trump: 속도, 인프라, 그리고 "레드 테이프(red tape, 관료적 형식주의)" 제거. [3][4][11]

OMB의 2025년 메모: 사전 승인보다는 거버넌스(governance)

"연방 정부의 AI 사용 가속화(Accelerating Federal Use of AI)"에 관한 2025년 OMB(예산관리국) 메모는 각 기관에 AI를 공격적으로 채택하되, 시민권, 시민적 자유 및 개인정보 보호를 위한 안전장치를 마련할 것을 지시합니다. [5]

중점 분야:

• 거버넌스 프로세스 및 위험 관리(risk management)
• 내부 감독 역할 및 AI 인벤토리(inventories)
• 모델별 사전 라이선스(pre-licensing)가 아닌 공공의 신뢰와 투명성 [5]

여러분이 실제로 직면한 파편화된 환경

행정 명령(EO)과 메모 위에 다음과 같은 복잡한 체계가 겹쳐져 있습니다:

• 부문별 규제 기관 (FDA, CFPB, EEOC 등)
• 투명성, 편향성, 개인정보 보호, 책임성에 관한 주 및 도시별 AI 법률 (Colorado, California, Illinois, NYC) [1][10]
• 규제 기관들이 점점 더 참조하고 있는 NIST의 AI RMF(AI 위험 관리 프레임워크)와 같은 자발적 프레임워크 [1]

💼 엔지니어들을 위한 조언: 하나의 모델과 파이프라인(pipeline)이 특정 관할 구역에서는 규정을 준수하더라도, 6개월 후 다른 관할 구역에서는 위험 요소가 될 수 있습니다. [1][10]

2. "AI 모델에 대한 사전 승인"이 엔지니어들에게 실질적으로 의미하는 것

강력한 형태의 사전 승인(pre-approval)은 연방 당국이 귀하의 기술 문서, 평가(evals), 위험 평가(risk assessments)를 검토할 때까지 프런티어 모델(frontier model)이나 주요 업데이트를 배포할 수 없음을 의미합니다. [7]

다음의 혼합 형태라고 생각하십시오:

• 의료 기기 사전 시장 검토(premarket review)
• 클라우드 서비스를 위한 FedRAMP 스타일의 승인(authorization) [3][12]

⚠️ 작업 정의: 사전 승인 = 사후 집행(after-the-fact enforcement)이 아니라, 실제 사용자가 새로운 버전을 보기 전에 반드시 거쳐야 하는 의무적인 관문(gate).

기존 컴플라이언스 패턴과의 매핑

미국 연방 기관(US federal agencies)에 제품을 판매하고 있다면, 이미 유사한 패턴을 목격하고 있을 것입니다:

• FedRAMP는 기계 판독이 가능한 증거(OSCAL), 정의된 통제 항목(controls), 그리고 지속적인 모니터링을 요구합니다 [12]
• "중대한 변경(Significant change)" 이벤트(예: 새로운 모델 가중치)는 재평가 및 추가 증거 제출을 촉발할 수 있습니다 [12]
• 평가(Evaluations)는 단순한 벤치마크가 아니라, 출시 관문(release gates)과 연결된 운영 증거로서 기능합니다 [12]

사전 승인(Pre-approval)은 이를 공식화하고 모델과 산업 전반으로 확대할 것입니다.

💡 설계 힌트: 추론(inference), 검색(retrieval), 도구(tooling), 그리고 학습(training)을 각각 별도의 평가 트랙을 가진 독립적인 리스크 표면(risk surfaces)으로 취급하십시오. 연방 가이드라인은 AI 승인(authorizations)을 이러한 방향으로 움직이고 있습니다. [9][12]

기업에 미치는 영향: 1급 산출물로서의 평가

현재의 거버넌스 가이드라인은 이미 기업들이 다음과 같은 조치를 취하도록 유도하고 있습니다:

• 출시를 명시적인 평가 임계값(evaluation thresholds)과 연결
• 운영 환경(production)에서의 정확도, 드리프트(drift), 편향(bias), 오용(misuse)을 지속적으로 모니터링 [9][12]
• 모델, 프롬프트, 가드레일(guardrails), 데이터셋을 별개이면서도 서로 연결된 컴플라이언스 객체로 버전 관리 [12]

사전 승인은 이러한 조치들을 "모범 사례(best practice)"에서 "의무 사항"으로 전환할 것입니다.

오픈 웨이트(Open-weight) 모델: 맞지 않는 못

오픈 웨이트 모델은 중앙 집중식 감독과 충돌합니다. 일단 가중치(weights)가 공개되면, 누구나 다음과 같은 행위를 할 수 있습니다:

• 검증되지 않은 데이터로 미세 조정(Fine-tune)
• 다른 체크포인트(checkpoints)와 병합(Merge)
• 불투명한 환경에서 배포

연구에 따르면 오픈 웨이트는 되돌릴 수 없을 정도로 복제 및 수정될 수 있어, 전통적인 리스크 관리를 훨씬 더 어렵게 만듭니다. [2]

📊 규제 퍼즐: 정확히 무엇이 "승인"되는 것일까요? 베이스 체크포인트(base checkpoint)일까요, 아니면 수 시간의 LoRA 미세 조정을 거쳐 갈라져 나온 모든 다운스트림 변형 모델(downstream variant)일까요?

에이전트와 도구: 정확히 무엇이 승인되는가?

에이전트 시스템(agentic systems)의 경우, 동작은 다음 요소들에 따라 달라집니다:

• 베이스 모델(Base model)
• 오케스트레이션(Orchestration) 및 계획 로직(planning logic)
• 도구 인터페이스(Tooling surface) (API, RAG, 액추에이터)
• 가드레일(Guardrails) 및 에스컬레이션 경로(escalation paths) [8][12]

어떠한 현실적인 사전 승인 체계라도 다음 중 무엇을 승인할 것인지 결정해야 합니다:

• 모델 단독 (The model alone)
• 모델 + 참조 시스템 카드 (The model + reference system card)
• 전체 워크플로우 (예: 청구 자동화 에이전트) (Full workflows (e.g., a claims automation agent))

⚡ 엔지니어링 시사점 (Engineering takeaway): 만약 사전 승인이 도입된다면, 시스템 경계 다이어그램 (system-boundary diagrams), 에이전트 정책 (agent policies), 그리고 가드레일 테스트 (guardrail tests)가 가공되지 않은 모델 평가 점수 (raw model eval scores)만큼이나 중요하게 다뤄질 것입니다. [8][12]

3. 혁신 대 리스크: 기존 미국 AI 정책으로부터의 교훈

바이든(Biden)의 2023년 AI 행정명령 (AI EO)은 혁신과 인권, 차별 방지, 그리고 사회 정의 사이의 균형을 맞추려 시도하며, 질서 자유주의 (ordoliberal) 관점을 반영합니다: 시장은 자유롭되 남용을 방지하기 위한 규칙에 의해 제한된다는 관점입니다. [6]

이러한 틀 안에서:

• 혁신은 환영받지만, 기본권(fundamental rights)을 희생하면서까지 이루어져서는 안 됩니다.
• 정부는 공정 경쟁을 위한 조건을 설정하고 취약 계층을 보호합니다. [6]

💡 정책적 신호 (Policy signal): 논쟁의 핵심은 "혁신 대 규제"가 아니라, "어떤 가드레일(guardrails)이 지속 가능한 혁신을 지원할 것인가"입니다. [6]

미국 대 EU: 왜 아직 AI 법(AI Act) 스타일의 승인 체계가 없는가

EU AI 법 (EU AI Act)과 비교했을 때, 워싱턴은 포괄적인 승인보다는 유연하고 리스크 기반의 거버넌스 (risk-based governance)를 선호합니다. [1]

동력으로는 다음이 포함됩니다:

• 초기 단계의 혁신을 위축시킬(chilling) 것에 대한 우려
• 부문별 접근 방식 (보건 vs 금융 vs 채용)에 대한 의존 [1]
• 광범위한 금지보다는 자발적 프레임워크, 가이드라인, 그리고 조달 수단(procurement levers)을 선호함 [1]

미시 세계로서의 의료 AI

트럼프(Trump) 시대의 의료 AI 정책은 이러한 긴장 관계를 잘 보여줍니다. 해당 정책은 규제가 의료 서비스 제공 분야의 AI 혁신을 저해할 수 있다고 경고합니다. [3]

하지만 동시에 다음과 같은 점도 언급합니다:

• 사전 시장 평가 (premarketing evaluation)의 감소는 임상의와 환자의 신뢰를 약화시킬 수 있음
• 다양한 인구 집단에 대한 검증(validation) 부족은 불평등을 심화시킬 수 있음 [3]

📊 교훈: 사전 승인을 줄이는 것은 리스크를 '제로'로 만드는 것이 아니라, 신뢰, 형평성, 그리고 책임(liability)의 문제로 전이시키는 것입니다. [3]

"관료적 형식주의(red tape)를 제거하되, 특정 안전장치는 유지하라"

트럼프의 AI 행동 계획 (AI Action Plan)과 행정명령 (EOs)은 다음을 강조합니다:

• AI에 "부당한 부담을 주는" 규제 제거
• 데이터 센터 및 인프라 승인 가속화
• 연방 조달 시 이념적으로 편향된 것으로 간주되는 도구를 피하도록 보장 [4][11]

동시에, OMB(예산관리국)의 2025년 AI 메모는 연방 AI 분야에서 시민권 (civil rights), 시민적 자유 (civil liberties), 그리고 개인정보 보호 (privacy)를 위한 강력한 보호 조치를 여전히 요구하고 있습니다. [5]

⚠️ 예측 (Prediction): 어떠한 진지한 사전 승인 (pre-approval) 논쟁이라도, 혁신 (innovation)의 문제만큼이나 시민권 및 공공 신뢰 (public-trust) 정책의 문제로 프레임화될 것입니다. [5][7]

4. AI 팀들이 이미 직면하고 있는 숨겨진 컴플라이언스 (Compliance) 부담

대부분의 엔지니어링 팀은 사전 승인 시스템이 가정하는 거버넌스 (governance) 성숙도에 훨씬 못 미치는 수준입니다. 설문 조사에 따르면 조직의 약 30%만이 생성형 AI (generative AI)를 프로덕션 (production) 환경에서 사용하고 있으며, 정확도 (accuracy), 드리프트 (drift), 오용 (misuse)을 모니터링하는 조직은 48% 미만입니다. [9]

📊 격차 (Gap): AI는 여전히 모니터링되는 핵심 시스템 (critical system)이라기보다 파일럿 (pilot) 단계처럼 취급되고 있습니다. [9]

잘못되었을 때 발생하는 비용

동일한 연구 결과에 따르면 다음과 같습니다: [9]

• 조직의 99%가 AI 관련 리스크로 인한 재정적 손실을 보고함
• 64%가 100만 달러 이상의 손실을 보고함
• 평균 손실액은 약 440만 달러임
• AI 규제 미준수 (Non-compliance)가 가장 큰 리스크이며, 조직의 57%에 영향을 미침

사례 연구에 따르면, 정렬되지 않은 (misaligned) LLM 파일럿은 감사를 유발하고, 출시를 지연시키며, 규제 기관이 프로젝트 중간에 가이드라인을 업데이트할 경우 사후적으로 문서화를 강제하는 상황을 초래할 수 있습니다. [9][10]

움직이는 목표로서의 패치워크 (Patchwork)

미국의 주(state) 단위 및 부문별 패치워크 (patchwork)는 다음 사항을 강조합니다:

• 투명성 (Transparency) (AI 사용 공개)
• 편향 (Bias) 및 공정성 (fairness) 제어
• 데이터 프라이버시 (Data privacy)
• 책임성 (Accountability) 및 감사 가능성 (auditability) [1][10]

규칙이 빠르게 변하기 때문에, 첫날에 준수하도록 설계된 디자인이라도 단순히 법이 바뀌었다는 이유만으로 미준수 (non-compliance) 상태로 흘러갈 수 있습니다. [1][10]

⚠️ 현실 점검 (Reality check): 연방 차원의 사전 승인 계층은 이러한 복잡성 위에 놓이게 되는 것이지, 이를 대체하는 것이 아닙니다. [1][10]

지속적 권한 부여 (Continuous authorization)를 향하여

연방 클라우드 관행에서 "양호한" 상태는 다음과 같습니다: [12]

• 가드레일 (guardrails) 및 안전 정책을 명시적이고 테스트 가능한 제어 항목 (controls)으로 취급함
• 평가 (eval)를 통한 승인 절차를 거쳐 모델과 프롬프트 (prompts)의 버전을 관리함
• 모델 업데이트 및 새로운 도구와 연계된 "중대한 변경 (significant change)" 통지를 사용함

이는 공식적인 모델 사전 승인 법안 없이도 AI 서비스에 대한 지속적인 권한 부여를 실질적으로 생성합니다. [12]

LLM 에이전트(LLM agents)의 경우, 윤리적 가드레일(ethical guardrails), 명확한 책임 소재, 그리고 상세한 로깅(logging)이 이미 내부 승인 게이트(approval gates) 역할을 하고 있습니다. 만약 에이전트의 결정을 설명하거나 재현(replay)할 수 없다면, 리스크 및 감사 팀이 배포를 차단할 것입니다. [8][9]

💡 순효과 (Net effect): 사전 승인 제도는 이미 많은 팀이 비공식적이고 사후 대응적으로 느끼고 있는 부담을 중앙 집중화할 것입니다. [8][9][12]

5. 사전 승인 논쟁의 시대, 빌더들을 위한 전략적 가이드

의회나 Sam Altman과 같은 인물들이 무엇을 결정하든 관계없이, 신중한 엔지니어링 관점에서의 가정은 대규모 모델, 고위험 도메인, 또는 정부 대상 시스템에 대해 사전 승인과 사후 감사(ex-post audit)가 혼합된 형태가 도입될 것이라는 점입니다. [7]

기본적으로 정밀 조사를 고려한 파이프라인 구축

외부 검토자가 특별한 노력 없이도 스택(stack)을 이해하고 감사할 수 있도록 설계하십시오:

• 평가(evals), 로그(logs), 변경 이력(change histories)을 부산물이 아닌 주요 산출물(artifacts)로 취급하십시오.
• 명확한 시스템 경계 다이어그램(system-boundary diagrams), 에이전트 정책(agent policies), 그리고 가드레일 테스트 스위트(guardrail test suites)를 유지하십시오.
• 릴리스 게이트(release gates)를 문서화된 평가 임계값(evaluation thresholds) 및 "중대한 변경 (significant change)" 트리거와 일치시키십시오.

결론: 여러분은 이미 사실상의(de facto) AI 거버넌스 환경에서 운영되고 있습니다. 공식적인 사전 승인 체제는 기준을 높이고 감독을 중앙 집중화하겠지만, 추적 가능성(traceability), 리스크 평가(risk evaluations), 지속적인 모니터링(continuous monitoring), 그리고 설명 가능한 시스템 설계(explainable system design)라는 핵심 요구 사항은 앞서 나가는 AI 팀들이 오늘을 위해 구축해야 할 동일한 압박 요소들입니다.

About CoreProse: 검증된 인용을 포함한 연구 중심의 AI 콘텐츠 생성. 환각(hallucination) 제로.

🔗 Try CoreProse | 📚 More KB Incidents