인공지능 (AI)이 전례 없는 속도로 발전함에 따라, 이러한 시스템을 평가하고 거버넌스 (governing)를 구축하는 메커니즘이 이를 따라잡는 데 어려움을 겪고 있습니다. Stanford Institute for Human-Centered Artificial Intelligence (2026)에서 발표한 연구에 따르면, 책임감 있는 AI 벤치마킹 (benchmarking)이 급격한 AI 발전 속도를 맞추지 못하고 있으며, 문서화된 안전 사고는 2025년에 362건으로 증가했습니다 (Stanford HAI, 2026).

AI 시스템이 진정으로 얼마나 "안전"한지를 평가하는 것은 표준화된 코딩이나 추론 시험에서의 성능을 측정하는 것보다 훨씬 더 복잡하다는 것이 증명되었습니다. Stanford HAI (2026)에서 발표한 연구에 따르면, 2025년에 기록된 AI 사고가 362건에 달하고 주요 모델들의 환각 (hallucination) 비율이 22%에서 94%에 이르는 것으로 나타났듯이, AI 안전 평가는 실제 사용 환경을 반영하는 데 어려움을 겪고 있습니다 (Stanford HAI, 2026). 이러한 시스템들은 통제된 환경을 벗어날 때 심각한 기술적 취약성을 보입니다. 예를 들어, 모델들은 객관적인 사실과 사용자의 신념을 빈번하게 구분하지 못하며, 이로 인해 거짓 진술이 사용자가 사실이라고 믿는 것으로 프레임화될 경우 GPT-4o의 정확도는 98.2%에서 64.4%로 급락하고, DeepSeek R1의 정확도는 90% 이상에서 14.4%로 떨어집니다. 또한, 글로벌 평가는 비영어권 방언에서의 급격한 성능 저하를 가리고 있으며, 표준 안전 가드레일 (guardrails)은 의도적인 탈옥 (jailbreak) 공격 하에서 지속적으로 무너집니다. 기본적인 안전 점검만을 근거로 모델을 안전하다고 라벨링하는 것은 배포 후에야 드러나는 치명적인 실패 지점들을 은폐하여, 위험한 안정성의 환상을 만들어낼 수 있습니다.

기술적 취약점이 지속되고 있음에도 불구하고, 기업들은 이러한 도구들을 배포하는 방식에 구조를 부여하기 위해 적극적으로 시도하고 있습니다. Stanford HAI (2026)의 연구에 따르면, 책임감 있는 AI (Responsible AI) 정책 없이 운영되는 기업의 비중은 24%에서 11%로 급격히 감소했으며, 거버넌스 프레임워크 (governance frameworks)는 ISO/IEC 42001 (36%) 및 NIST AI 위험 관리 프레임워크 (NIST AI Risk Management Framework, 33%)와 같은 기술 표준으로 이동하고 있습니다 (Stanford HAI, 2026). 그러나 정책을 문서상으로 공식화하는 것은 실제 실행하는 것보다 훨씬 쉬운 것으로 드러나고 있습니다. Stanford HAI (2026)에 따르면, 효과적인 이행을 가로막는 주요 장벽은 내부 지식 격차 (59%), 예산 제약 (48%), 그리고 지속적인 규제 불확실성 (41%)인 것으로 나타났습니다 (Stanford HAI, 2026). 이러한 운영상의 장애물에 더해 근본적인 엔지니어링 과제가 문제를 심화시키고 있습니다. 실증 연구에 따르면 개인정보 보호 (privacy)나 공정성 (fairness)과 같은 하나의 안전 차원 (safety dimension)을 위해 모델을 최적화하면, 다른 차원에서의 성능이 일관되게 저하되는 것으로 나타났습니다. 엔지니어링 팀이 이러한 내재적인 트레이드오프 (trade-offs)를 관리하는 데 필요한 재정적 지원과 기술적 도구를 모두 확보하기 전까지는, 기업 거버넌스 이니셔티브 (corporate governance initiatives)는 대체로 상징적인 수준에 머물 것이라고 주장할 수 있습니다.

_The 2026 AI Index Report_의 조사 결과는 한 가지 사실을 명확히 보여줍니다. 기술적 진보가 우리의 안전 및 거버넌스 (governance) 역량을 훨씬 앞지르고 있다는 점입니다. Stanford HAI (2026)에 따르면, 평균 개발자 투명성 점수는 58점에서 40점으로 하락한 반면, 문서화된 AI 안전 사고는 2025년에 362건으로 급격히 증가했습니다 (Stanford HAI, 2026). 모델 제작자의 자발적인 안전 공개나 기초적이고 고립된 벤치마크 (benchmarks)에 의존하는 것만으로는 더 이상 조직을 현실 세계의 실패로부터 보호하기에 충분하지 않습니다. 이 격차를 해소하려면 명문화된 정책을 넘어 독립적인 평가 프레임워크 (evaluation frameworks), 타겟팅된 자금 지원, 그리고 안전성 트레이드오프 (safety trade-offs)를 직접적으로 해결하는 실질적인 엔지니어링 솔루션으로 나아가야 합니다. 향후 AI 산업의 진정한 시험대는 모델이 얼마나 빠르게 추론할 수 있는가가 아니라, 신뢰, 공정성, 그리고 안전성을 희생하지 않으면서 얼마나 안정적으로 배포될 수 있는가가 될 것입니다.

출처 (Sources)

Stanford Institute for Human-Centered Artificial Intelligence. (2026). The 2026 AI index report. Stanford University. https://hai.stanford.edu/ai-index/2026-ai-index-report