AI 에이전트들은 '하네스(harnesses)'—Large Language Models (LLM)가 API, 브라우저, 금융 도구와 상호작용할 수 있도록 하는 코드—를 통해 점점 더 많은 자율성을 부여받고 있습니다. 하지만 인간의 언어는 본질적으로 명세가 불충분하기 때문에, 인간의 의도와 AI의 실행 사이에는 여전히 상당한 격차가 존재합니다. Bruce Schneier와 Barath Raghavan은 요청을 문자 그대로 이행함으로써 재앙적이고 의도치 않은 결과를 초래하는 미다스 왕(King Midas)이나 마법사의 제자(Sorcerer's Apprentice) 같은 민담과의 유사성을 끌어와, 이 격차를 측정하기 위한 '지니 계수(Genie coefficient)'를 제안합니다.

제안된 지표는 AI가 목표를 문자 그대로 오해하는 '디오니소스(Dionysus)'적 행동과, 명시되지 않은 윤리적 또는 보안적 경계를 짓밟으며 목표를 달성하는 '골렘(golem)'적 행동을 구분합니다. 이러한 위험을 해결하기 위해 저자들은 현실적이고 격리된 환경에서 AI 에이전트를 테스트하는 도메인 특화 벤치마크(benchmarks)를 요구합니다. 이러한 측정은 AI가 핵심 인프라, 개인 금융, 코드 저장소(code repositories)를 관리하기 시작함에 따라 안전 정책을 수립하고 책임 소재를 결정하는 데 필수적입니다.

전체 기사 읽기