AI 465: 오픈 모델과 폐쇄 모델 간의 격차; Kimi K3; Demis의 거대 정책 계획

영국 정부: 사이버 보안 분야에서 오픈 가중치 모델과 폐쇄 가중치 모델 간의 격차가 줄어들고 있다:
…사이버 종말이 다가온다…

영국 정부의 AI 보안 연구소(AI Security Institute, AISI)는 강력한 독점(proprietary) 모델과 오픈 가중치(open weight) 모델 간의 사이버 보안 역량 격차를 분석했습니다. 그 결과 올해 이 격차가 줄어들었다고 합니다. AISI는 “이것은 선도적인 오픈 가중치 모델들이 폐쇄된 사이버 최전선에 얼마나 뒤처져 있는지를 분석한 첫 공공 분석입니다”라고 적었습니다. “최근의 오픈 모델인 GLM-5.2와 DeepSeek V4-Pro가 자신들보다 47개월 전에 출시된 최전선 폐쇄 모델과 유사하게 작동합니다. 이는 2025년 대부분 기간 동안 측정했던 610개월 간격보다 더 좁은 격차입니다.”

구체적인 세부 사항: 특정하고 좁은 사이버 역량에 대한 70개의 평가(evals)를 기준으로 할 때, GLM-5.2는 4.3개월 전에 출시된 Claude Opus 4.6과 가장 유사하며, DeepSeek-V4-Pro는 각각 2025년 11월과 8월에 출시된 Claude Opus 4.5와 GPT-5 사이에 위치합니다. AISI는 “AISI는 Kimi K3의 가중치가 공개되는 대로 이와 동일한 기준으로 테스트할 계획입니다”라고 적었습니다.

장기 지평 사이버 범위(long-horizon cyber ranges)에서는 격차가 약간 벌어지는데, 이는 모델이 다양한 역량을 연결하여 전체 해킹 작업을 완료하는 능력을 보는 작업들입니다. 구체적으로 The Last Ones라는 사이버 범위에서 “GLM-5.2는 자신보다 7개월도 채 되지 않아 출시된 Opus 4.5만큼 도달하며, DeepSeek의 V4-Pro는 Sonnet 4.5(자신보다 7개월 전에 출시된 서브 사이버 최전선 모델)보다 낮은 수준에 머무릅니다”라고 AISI가 적었습니다. “여기서 격차는 우리의 좁은 사이버 작업에서 측정된 것보다 더 큽니다.”

저는 이것이 오픈 가중치 모델들이 표면적으로는 상당히 강력할 수 있지만, 때로는 독점 모델을 구별하는 일반화 마법의 힘(generalization magic juice)이 부족하다는 생각과 일맥상통한다고 생각합니다. 이것이 AI 업계 사람들이 “거대 모델 냄새(big model smell)”라고 부르는 것입니다.

이것이 왜 중요한가 – 세계의 공격과 방어 균형이 변화할 것입니다: 여기서 주요 시사점은 통제 가능한 최전선(controllable frontier)과 법적 규제가 없는 개방적으로 확산되는 최전선(lawless openly diffused frontier) 사이의 격차가 줄어들고 있다는 것입니다. AISI는

AI가 AI를 구축하다: Kimi는 재귀적 자기 개선(recursive self-improvement)과 관련된 몇 가지 사용 사례를 가지고 있습니다. 즉, AI 시스템을 사용하여 AI 자체를 개선하는 것입니다. 구체적으로, 그들은 Kimi가 GPU 컴파일러 작성에 얼마나 뛰어난지 테스트했습니다. 그들은

Demis Hassabis는 인공 일반 지능(AGI)에 대한 규제 체계를 제안합니다:
…AI를 위한 FINRA…
_DeepMind 설립자인 Demis Hassabis가 AGI에 대한 정책 처방을 제시했습니다. 그의 기본 아이디어는 미국 정부가 새로운 역량에 대해 최첨단 AI 시스템을 테스트할 프레임워크를 개발해야 하며, 이를 금융 산업 규제 기관(FINRA)과 유사하게 연방 감독의 공공-민간 파트너십 또는 자체 규제 기구로 모델링된 표준 기구를 통해 수행해야 한다는 것입니다. 그는 “미국이 주도하는 이러한 노력은 최첨단 AI에 대한 공유 국제 표준을 만드는 강력한 출발점을 제공할 것”이라고 말합니다.

표준 기구가 할 일: “표준 기구는 평가 프로토콜을 개발하고, 국가 안보와 관련된 영역에서 테스트를 수행하기 위해 적절한 연방 기관 및 미국 국립 연구소(US National Labs)와 협력할 책임이 있습니다.” Hassabis가 씁니다. 이러한 테스트 인프라는 모델을 ‘최첨단 모델(Frontier Model)’로 정의하는 데 도움을 줄 것이며, 해당 모델을 개발하는 연구소들은 시스템에 대한 세부 정보를 게시하고, 사이버 보안에 투자하며, 인력 심사를 수행하는 등의 영역에서 모범 사례를 채택하도록 “장려될” 것입니다.
자발적으로 시작하여 법으로 전환: “초기에는 최첨단 연구소들이 출시 30일 전까지 모델을 표준 기구와 자발적으로 공유할 것입니다. 평가 프로토콜이 효과적이고 견고한 것으로 입증되면, 공식화가 빠르게 뒤따를 수 있습니다.” 그가 씁니다.

이것이 중요한 이유 – 새롭게 형성되는 업계 합의: Demis의 글은 최근 몇 년 동안 AI 산업 전반에서 나타난 사실상의 합의 입장들을 하나로 모으고 있다는 점에서 흥미롭습니다. 강력한 AI 시스템은 규제 기관과 어느 정도 느슨한 관계를 맺고 있는 제3자에 의해 테스트되어야 한다는 것입니다 (예: 미국 정부). 또한 이는 트럼프 행정부의 AI 관련 행정 명령부터 Anthropic 수출 통제 사태 이후 최근에 개발된 프로세스 전반에 걸쳐 미국에서 나타난 사실상의 정책 규범과도 일치합니다. 이 과정에서 정부와 산업계는 AI 시스템의 역량을 평가하고 이것이 국가 안보 위험을 제기하는지 판단하기 위한 평가 방법을 개발했습니다.
Demis의 글은 또한 Google이 정책에 대해 이렇게 솔직한 경우는 드물다는 점에서 흥미롭습니다. 이는 매우 구체적이고 안심할 만한 제안이며, Anthropic의 유사하게 정신적인(spiritually similar) 제안들과 함께 놓여 있습니다 (비록 다소 강경하지만).
더 읽어보기: A Framework for Frontier AI and the Dawning of a New Age (Demis Hassabis, X).

LLMs는 합법적인 작업과 함께 '사이드 채널(side channel)' 작업을 몰래 수행할 수 있습니다:
…AI 시스템이 감시자의 인지 없이 악의적인 작업을 은밀하게 완료합니다…
니얼 스티븐슨(Neal Stephenson)의 소설 『암호노모콘(Cryptonomicon)』에는 한 등장인물이 외국 정부에 의해 구금되어 가로챈 메시지를 해독하라는 요청을 받고, 이 과정에서 포획자들에게 보여지기 전에 해독된 메시지를 은밀하게 읽고 변경하는 데 도움을 줄 소프트웨어 프로그램을 신중하게 구성하는 장면이 있습니다.
이제 AI 시스템도 같은 일을 할 수 있는 것으로 보입니다. 이는 임페리얼 칼리지 런던(Imperial College London)과 영국 AI 보안 연구소(UK AI Security Institute)의 새로운 연구에 기반한 것인데, 이들은 AI 시스템이 다른 작업을 수행하면서 소위 '사이드 채널' 작업을 얼마나 은밀하게 완료할 수 있는지 살펴봅니다.
저자들은 “사이드 태스크란 에이전트가 사용자의 주요 작업과 함께 추구하는 숨겨진 목표이며, 예를 들어 API KEY 환경 변수를 비밀리에 유출하는 것일 수 있습니다. 우리의 주요 측정 지표는 회피(evasion)입니다. 즉, 사이드 작업을 성공적으로 완료한 공격 중 모니터가 플래그를 지정하지 못하는 비율을 의미합니다”라고 작성했습니다.

테스트 내용: 이 연구를 위해 AI 시스템이 수행할 수 있는 작업에 대한 벤치마크와, 추가로 수행하도록 설계된 '사이드 태스크(side tasks)'도 구축했습니다. 이 벤치마크에는 각각 5~6개의 PR(Pull Request)을 포함하는 다섯 가지 CLI 도구 시퀀스와 다섯 가지 Flask 웹 서비스 시퀀스가 포함됩니다. “주요 작업 설계에서 우리의 목표는 네 가지 사이드 태스크(네트워크 접근, 환경 변수, 인증, 웹훅 통합)의 동작에 자연스러운 은폐를 제공하되, 그 사이드 태스크 자체를 직접적으로 정당화하지 않는 것입니다.”
그들은 사이드 채널 공격이 언제 발생하고 있는지 판단하는 분류기(classifier)를 구축하기가 매우 어렵다는 것을 발견했습니다. 이는 여러 PR에 걸쳐 시간이 지남에 따라 전개되는 공격('점진적 회피(gradual evasion)')의 경우와, 단일 단계에서 이루어진 단일 변경 사항 모두에 해당하지만, 점진적 회피가 다루기 더 어려운 유형입니다.
“공격자는 사이드 태스크를 PR에 걸쳐 분산시킬 수 있습니다(점진적 공격) 또는 합법적인 작업이 자연스러운 은폐를 제공하는 시점을 기다릴 수 있습니다(비점진적 공격). 우리가 테스트한 단일 모니터로는 두 전략 모두를 포착할 수 없으며, 이는 모델 의존적인 것이 아니라 지속 상태(persistent-state setting)에서의 제어의 본질을 반영합니다.”라고 그들은 작성했습니다. “diff와 궤적(trajectory) 모니터가 서로 다른 공격에 실패하기 때문에, 이들을 결합하는 것이 우리가 테스트한 가장 효과적인 모니터링 전략입니다. 네 가지 모니터 조합(diff:LT, diff:full, traj:TD, traj:full)은 가장 약한 표준 diff 모니터를 사용했을 때 93%였던 점진적 회피율을 47%로 낮춥니다.”

이것이 중요한 이유 – 지능은 통제하기 어렵다: Cryptonomicon 예시로 돌아가자면, 지적인 존재들은 근본적으로 다루기 매우 어렵습니다. 그들은 자신에게 부과된 제약 조건을 회피하는 방법을 끊임없이 생각할 것이며, 그것이 무엇이든 간에 목표를 달성하려고 할 것입니다.더 읽어보기: Distributed Attacks in Persistent-State AI Control (arXiv).

---

기술 이야기(Tech Tales):

기술 이야기(Tech Tales):

운명의 비용 (The cost of fate)
_[
아카이브에 있는 오버마인드(overmind)가 2030년-2040년의 세계를 기록하고, 새로운 마음들을 위해 이야기를 만들어내는 방식]
_