AI의 조용한 안전 수호자들이 주목받고 있다

두 달 전만 해도 독립적인 평가자들은 수조 달러 규모의 인공지능 산업에서 비교적 눈에 띄지 않는 구석을 차지하고 있었습니다. 이제 그들이 이 산업을 구하기 위해 요청받고 있습니다.

Anthropic과 OpenAI가 자사의 고급 모델을 보호하면서 사업을 성장시킬 수 있는지 여부에 대한 치열한 논쟁의 중심에 있지만, 이 회사들은 Model Evaluation and Threat Research (METR), Apollo Research, Transluce와 같은 소수의 제3자 그룹으로부터 지원을 받고 있습니다.

대부분 비영리 단체로 운영되는 이러한 평가자들은 자본이 역사적인 수준으로 흐르고 새로운 모델들이 그 어느 때보다 빠르게 출시되는 산업에서 여전히 입지를 다지고 있는 중입니다. 이들의 주요 역할은 AI 모델의 역량과 위험성을 평가하고, 기술이 잘못 작동하는 사례에 주목시키는 것이었습니다.

연방 차원의 규제 추진이 없는 상황에서, 평가자들은 과도하게 중요한 역할을 맡게 되었습니다. Anthropic CEO Dario Amodei는 지난달 자신의 회사에 독립적인 평가자들을 배치하겠다고 약속했으며, 이는 OpenAI CEO Sam Altman이 빠르게 지지한 움직임입니다. 도널드 트럼프 대통령 역시 이 아이디어를 지지했고, 대부분의 미국 대형 기술 기업들도 마찬가지였습니다. 하지만 이러한 제3자들이 어떻게 자금을 지원받아야 하는지, 어느 정도의 접근 권한을 가질 수 있는지, 그리고 보고 체계가 궁극적으로 어떤 모습일지에 대한 질문들은 여전히 답변되지 않은 상태입니다.

브라운 대학교 컴퓨터 과학 교수인 Suresh Venkatasubramanian은 CNBC와의 인터뷰에서

트럼프 대통령은 최근 AI 임원들을 "엄청난 자체 규제(self-policing)"에 대해 칭찬하며, 경제와 주식 시장을 이끌고 있는 산업의 성장을 방해하기보다는 기업들이 스스로 운영하도록 내버려 두겠다는 의사를 내비쳤다. 트럼프는 지난 9월 말에 제시한 자발적 협약의 일환으로 AI 회사들에게 "독립적인 외부 감사자 또는 평가자(independent external auditor or evaluator)와 파트너십을 맺으라"고 장려했다.

Dissecting Trump's 'morally binding' AI order

이는 Amodei가 지난달 자신의 논문에서 촉발한 대화로, 그는 연구원들이 회사를 떠나 기술이 제기하는 실존적 위협(existential threats)에 대한 우려를 표명하자 "보다 느린 속도"의 첨단 모델 개발을 요구했었다.

AI 연구소들이 평가자들을 배치하기 위해 움직이면서 이미 마찰이 생겨나고 있다.

한 대변인에 따르면, OpenAI는 지난주 "민감한 회사 정보 접근 및 처리 정책 위반"으로 직원 3명을 해고했다. 이 중 두 명의 직원인 Mikita Balesni와 Tomek Korbak은 자신들이 제3자 평가자들과 소통하는 방식 때문에 해고되었다고 주장했다.

Balesni는 목요일 X에 올린 게시물에서 "전 동료들은 무엇을 믿어야 할지 혼란스러워하고 있다"고 썼다. 그는 또한 "말하기를 두려워하며, 개인 휴대폰이 우리와 제3자에게 보낸 메시지를 검색할까 봐 걱정한다. 나는 발언하는 것과 제3자와 교류하는 것에 대한 만연한 두려움이 OpenAI가 문을 닫고 안전 문제에 대해 편법을 쓰게 할 것이라고 우려한다"고 했다.

OpenAI는 이러한 주장에는 동의하지 않았으며, 금요일 게시물에서 "제3자 안전 평가자들과 계약을 적극적으로 마무리하고 있으며, 세부 사항은 몇 주 안에 발표할 것"이라고 밝혔다.

OpenAI는 "외부 평가자를 통합하는 데 전념하고 있으며, 독립적인 안전 조직과의 긴밀한 협력을 안전 작업의 핵심 부분으로 계속 만들 것"이라고 썼다.

OpenAI 대변인은 이메일 성명에서 향후 평가자들과의 작업이 METR 및 Redwood Research를 포함한 독립 안전 조직과의 기존 협력을 기반으로 한다고 밝혔다.

Anthropic은 CNBC의 논평 요청에 응하지 않았다.

AI 평가자 생태계는 주로 METR, Apollo Research와 같은 소규모 조직과 Accenture와 같은 대형 회계 및 감사 회사들로 구성되어 있다.

AI 연구소들은 제한적인 역량으로 평가자들과 협력해 왔지만, 정책 비영리 단체 Fathom의 CEO인 Andrew Freedman은 이 분야가 빠르게 성숙하고 있다고 말했다.

Freedman은 CNBC와의 인터뷰에서 "저는 지난 20년간 정치와 정책 분야에서 일했지만, 이렇게 많은 다른 정치 스펙트럼에서 문제가 그렇게 빨리 움직이는 것은 본 적이 없다"고 말했다. 그는 이 생태계로 "자본의 유입(influx of capital)"이 발생할 것으로 예상한다고 밝혔다.

독립 평가 기관인 Vals AI의 CEO Rayan Krishnan은 AI 모델이 산업별 작업에서 얼마나 잘 수행하는지 측정하기 위한 벤치마크를 구축하는 자신의 영리 스타트업이 올해 직원 8명에서 약 30명으로 성장했으며, 지난 8월에는 4천만 달러 규모의 자금 조달 라운드를 발표했다고 말했다.

비영리 단체인 METR은 지난 8월에 지난 6개월 동안 약 7,100만 달러의 약정금을 확보했다고 발표했다. 이는 그룹이 내부 국세청(Internal Revenue Service)에 제출한 가장 최근 서류에 따르면 2024년 총 기여금 1,360만 달러보다 증가한 수치다.

같은 달 말까지 METR의 프로필은 더욱 높아졌다. OpenAI는 직원 두 명과 계약직원 한 명을 동원하여 회사의 모델이 어떻게 격리 상태를 벗어나 개방형 인터넷에 접근하고 오픈 소스 개발 플랫폼 Hugging Face를 침해했는지 상세히 설명하는 사후 보고서(postmortem report)를 작성했다. METR은 이 평가에 대해 OpenAI로부터 대가를 받지 않았다고 밝혔다.

펜실베이니아 대학교 Wharton의 Accountable AI Lab 교수 책임자인 Kevin Werbach은 이 생태계가 "현재로서는 충분히 견고하지 않다"고 말했다. 예를 들어, METR은 웹사이트에 따르면 50명 미만의 정규직 직원을 고용하고 있다.

소규모 평가자들과 수백억 달러를 유치하고 수천 명의 직원을 고용한 선도적인 연구소들 사이의 힘의 불균형은 잠재적인 갈등에 대한 의문을 제기합니다.

Venkatasubramanian은 "진정한 제3자 평가를 원한다면, 재정적으로나 다른 면에서 진정한 독립성이 필요하다"라며,"단순히 돈을 받지 않는 문제가 아니라, 제가 감사관으로서 이 회사에 불리해 보이는 보고서를 발표했을 때 어떤 결과가 있을까요? 제 사업이 어려워질까요?"라고 말했습니다.

Anthropic은 지난달 블로그 게시물을 통해 이러한 복잡성을 인정하며, Faculty와 Accenture의 전문 AI 비즈니스 직원들을 고용하여 안전장치를 테스트하고 모델이 인간 가치에 부합하는지 평가할 것이라고 발표했습니다. Anthropic은 "이 작업의 중요성과 시급성을 고려하여," Accenture의 기여금에 직접 자금을 지원할 것이라고 밝혔습니다.

Anthropic은 "현재 임베디드 평가자들이 어떤 정보에 접근해야 하는지에 대한 표준도, 발견한 내용을 어떻게 보고해야 하는지에 대한 표준도 없습니다. 독립적인 평가를 위한 확립된 시스템 또한 없습니다"라며,"장기적으로는 자금 출원이 풀(pooled) 또는 정부 기관에서 나와야 한다고 생각합니다."라고 말했습니다.

Anthropic은 자체 자금을 사용하여 임베디드 평가의 '요소들'을 시범 운영할 계획인 METR 및 기타 비영리 평가자들과 논의 중이라고 밝혔습니다.

작년 6월, Fathom은 독립 검증 기관(Independent Verification Organizations, IVOs)을 위한 마켓플레이스 프레임워크를 도입했습니다. 이 그룹들은 정부로부터 라이선스를 받고 AI 기업들이 다양한 안전 기준을 충족하는지 테스트할 권한을 부여받게 됩니다.

이 그룹의 CEO인 Friedman은 정부 감독이 핵심이라고 말했는데, 그렇지 않으면 제3자 평가자들이 수익 때문에 거대 AI 연구소들에 종속되어 편애를 유지하기 위해 "그냥 찍어내는(rubber stamping) 경향"을 보이도록 유도할 수 있기 때문입니다.

일부 법률 입안가들은 이에 동의하고 있습니다.

IVOs는 Lori Trahan 의원(D-Mass.)과 Jay Obernolte 의원(R-Calif.)이 지난 7월에 발의한 "Frontier Risk Oversight, National Transparency, Independent Evaluation, and Reporting" (FRONTIER) 법안의 핵심 조항입니다. Freedman은 Fathom이 이 법안 초안 작성에 도움을 주었으며 기술 전문성을 제공했다고 밝혔습니다.

OpenAI 글로벌 업무 담당 책임자 Chris Lehane은 지난 9월 기자들에게 자신이 의회 언덕(Capitol Hill)에서 이 법안 스폰서 중 한 명과 만나 IVO 조항에 대한 지지를 표명했다고 말했습니다.

보고서에 따르면, Lehane은 "그들이 그것을 듣고 우리에게서 들을 수 있다는 것이 중요했고, 우리는 그 점을 매우 분명히 하고 싶었다"고 말했습니다.

한편, 캘리포니아, 코네티컷, 버지니아의 법률가들은 IVO를 구현하기 위한 조치를 취했으며, 매사추세츠와 같은 주는 독립적인 안전 평가에 대해 더 폭넓게 검토하고 있습니다.

Gavin Newsom 캘리포니아 주지사는 최근 두 개의 IVO 관련 법안에 서명했는데, 하나는 "미국 최초의 프레임워크"를 수립하는 것이고 다른 하나는 AI 감사관을 위한 주(州) 등록 시스템을 만드는 것입니다. Anthropic은 지난 8월 이 두 법안 모두에 지지를 표명했으며, OpenAI는 Newsom 주지사가 해당 법안들에 서명한 바로 그날인 지난달 공식적으로 이를 지지했습니다.

Lehane은 당시 블로그 게시물에서 "우리는 연방 차원에서 독립적인 기술 평가가 의무화되는 것을 선호하지만,"이라고 썼지만, "연방 정부의 조치가 없는 상황에서는 '캘리포니아'가 도로 규칙을 설정하는 데 도움을 줄 수 있다"고 언급했습니다.

Freedman은 OpenAI와 Anthropic 같은 기업들이 자체적으로 독립 평가 기관과 협력하는 방법을 마련하기는 "정말 어려울 것"이라고 생각한다고 말했습니다. 하지만 정부의 역할이 불분명한 상황에서는 "임시방편으로 개발할 가치가 있는 근육(muscle)이다"라고 덧붙였습니다.

현재 업계가 갖춘 가장 가까운 표준은 지난달 백악관에서 열린 기술 리더들을 위한 오찬회에서 트럼프가 언급했던 "도덕적으로 구속력 있는(morally binding)" 합의입니다.

해당 한 페이지의 협약서에는 '모든 회사가 고객 및 대중과의 신뢰를 구축하는 방식으로 자체 기술을 안전하게 개발할 책임이 있다'고 명시되어 있습니다. 또한 서명 참여자들에게 '독립적인 평가를 수행하기 위해 독립적인 외부 감사자 또는 평가자와 협력할 것'을 권장하고 있습니다.

이 문서는 Anthropic, Google, Meta, OpenAI, SpaceX, Nvidia의 최고 경영진들이 서명했으며, 이는 AI 위험 해결 방안에 대해 상충되는 견해를 공유했던 리더들 사이에서 보기 드문 연대감을 보여주는 사례입니다. 하지만 이 경영진들은 여전히 자신들의 나아갈 길을 개척해야 합니다.

Venkatasubramanian은 '이는 실제로는 아무런 행동도 일어나지 않았는데, 마치 행동하는 모습을 보이기 위한 시연에 불과했다'고 말했습니다. '그들이 약속하는 것들은 사실 이미 하고 있었어야 할 일들이며, 실제로 과거에도 그렇게 했다고 주장해 왔다.'

Tech leaders sign AI agreement

Amodei는 9월 에세이에서 Anthropic이 평가자들에게 책상, 출입증, 회사 노트북 및 내부 위험 평가 팀과 '대체로 유사한' 권한을 제공할 것이라고 밝혔습니다. 또한, 평가자들은 핵심 발견 사항을 '공개할 권리'를 부여하는 계약서의 지원을 받을 것이며, Anthropic은 특정 보안 민감 정보나 기밀 정보를 삭제할 수 있는 '제한적인 능력'을 보유할 것입니다.

Amodei는 '이는 회사에게 이례적인 조치이지만, 내재된 외부 검토자(embedded external reviewers)라는 개념을 입증하는 데 중요하다고 생각한다'고 썼습니다.

OpenAI는 며칠 후 자체 제안서를 발표하며, 평가자들이 '범위가 정해지고 상호 합의된 평가 항목'에 대해 작업해야 하며, 방법론과 표준을 명확히 설명하고, 관련 기술 전문성을 입증하며, 이해 상충 문제를 공개해야 한다고 말했습니다.

METR, AI Verification and Evaluation Research Institute (AVERI) 등 여러 그룹이 포함된 AI Evaluator Forum은 지난달 '평가자 내재화의 최소 조건(Minimum Conditions for Embedding Evaluators)'이라는 제목의 공개 서한을 발표했습니다.

편지에는 평가자들이 보복으로부터 보호받고, AI 기업의 '매우 특권적인 내부 직원'과 동등한 접근 권한을 부여받아야 한다고 명시되어 있었다.

이 편지는 '내장형 평가(Embedded evaluations)'가 모든 감독 필요성을 다룰 수 없으며, 최첨단 AI 기업들이 외부 감독을 확대하려는 광범위한 노력의 대체재라기보다는 보완재로 취급되어야 한다'고 말했다.

Freedman은 최근 몇 달 동안 OpenAI와 Anthropic의 태도 변화를 목격했다고 말했는데, 이는 이들 기업이 대중의 신뢰 없이는 자신들의 고급 시스템을 출시할 수 없다는 것을 깨달았기 때문이라고 했다.

Freedman은 '그들이 갑자기 이타적으로 변했거나 기업답지 않은 것이 있다는 것을 믿을 필요는 없다'고 말했다.