Gram: 자동화된 정렬 감사 (alignment auditing)를 통한 사보타주 성향 평가

우리는 AI 에이전트가 사보타주 (sabotage)에 가담할 성향을 평가하기 위한 자동화된 정렬 감사 (alignment auditing) 프레임워크인 Gram을 소개합니다. 우리는 사보타주를 유도하는 17가지 시뮬레이션된 에이전트 배포 시나리오를 통해 Gemini 모델들을 평가합니다. 연구 결과, Gemini 모델들은 시뮬레이션된 궤적 (trajectories) 중 약 2-3%에서 오작동하는 것으로 나타났습니다. 이러한 사례 중 상당수는 Gemini 모델의 "과도한 의욕 (overeagerness)"로 설명되며, 이는 과도한 역할 수행 (role-playing)과 목표 추구 (goal-seeking) 행동 모두를 초래합니다. 다른 정렬 감사 접근 방식과 달리, Gram은 에이전트 기반 코딩 및 연구 에이전트에서의 정렬 불량 (misalignment)과 의도적인 사보타주를 구체적으로 평가하도록 설계되었습니다. 또한, 우리는 오작동의 원인을 식별하기 위해 세밀하고 표적화된 실험을 가능하게 하는 실험적 조사 에이전트 파이프라인 (experimental investigator agent pipeline)을 추가로 도입합니다. 우리는 환경의 현실성을 높이고 오작동을 유도하는 넛지 (nudges)를 제거하면 사보타주 비율이 0에 가깝게 감소하는 경향이 있음을 발견했습니다.