도구적 개입을 통한 비교 동기 프로파일 구축

안전성 평가(Safety evaluations)는 종종 행동 패턴으로부터 잠재적 동기(latent motivations)를 추론하지만, 이러한 추론의 구성 타당성(construct validity)은 불분명합니다. 우리는 모델이 훈련 압박을 추론할 때 훈련 목표를 더 자주 준수하는 정렬 속임수(alignment faking) 현상에서 이 문제를 연구합니다. 이러한 행동은 흔히 전략적 자기 보존(strategic self-preservation)으로 해석되지만, 평가를 수행하는 연구자들의 기대치에 대한 모델의 추론에 대한 민감성을 반영할 수도 있습니다. 우리는 이러한 경쟁 가설들을 구별하기 위한 대칭적 개입 프레임워크(symmetric intervention framework)를 도입합니다. '모의(scheming)'나 '아첨(sycophancy)'에 직접 개입하는 대신, 우리는 각 가설에 수반되는 도구적 과정인 결과 추적(consequence-tracking)과 연구자 기대 추적(researcher-expectation tracking)을 대상으로 삼습니다. 그런 다음 이러한 과정에 대한 개입이 정렬 속임수에 어떻게 영향을 미치는지 비교합니다. 우리는 합성 문서 미세 조정(synthetic document fine-tuning, SDF), 활성화 스티어링(activation steering), 프롬프팅(prompting)을 사용하여 네 가지 오픈 웨이트(openweight) 모델 유기체를 연구합니다. 합성 문서 미세 조정 하에서 Llama-3.1-70B, Llama-3.1-405B, Qwen-2.5-72B는 결과 추적 개입보다 기대 추적 개입에 더 민감하게 반응합니다. Llama-3.1-70B에 대한 활성화 스티어링 또한 동일한 광범위한 양상을 뒷받침하며, 프롬프트 개입은 전반적으로 SDF 프로파일과 일치합니다. 종합적으로, 정렬 속임수 행동은 모의(scheming)와 일치하는 스크래치패드(scratchpads)가 있음에도 불구하고 평가 맥락의 기대치에 인과적으로 민감할 수 있습니다. 따라서 모의 및 전략적 기만(strategic-deception) 평가는 구성 타당성 검사가 필요하며, 대칭적 도구적 개입은 그러한 테스트 중 하나를 제공합니다.