명시적 특성이 아닌 암묵적 특성으로 미조정 전염 완화

언어 모델 (LMs) 은 이제 고위험, 다중 에이전트 환경에서 점점 더 널리 사용되며, 지시사항 준수 및 가치 정렬 유지가 핵심적입니다. 대부분의 정렬 연구는 단일 LM 과 단일 사용자 간의 상호작용에 집중하여, 다중 턴 상호작용 중 여러 LM 간에 미조정 행동이 퍼지는 위험을 해결하지 못했습니다. 우리는 이를 '미조정 전염 (misalignment contagion)'이라고 부르는 현상을 발견했으며, 이는 다중 턴 대화형 사회 딜레마 게임에 참여하는 여러 LM 에서 이 증거를 찾았습니다. 구체적으로, 우리는 게임 플레이 후 LMs 가 더 반사회적 (anti-social) 으로 변하고, 다른 플레이어가 악의적으로 행동하도록 유도될 때 이러한 효과가 증폭된다는 사실을 발견했습니다. 우리는 이러한 미조정 전염을 완화하기 위한 다양한 유도 기법을 탐구했으며, LM 의 시스템 프롬프트를 강화하는 것이 불충분하며 종종 해로울 수 있음을 발견했습니다. 대신, 우리는 초기 특성을 강화하는 진술을 간헐적으로 주입하는 '암묵적 특성 유도 (steering with implicit traits)' 기법을 제안했습니다. 이는 모델의 초기 친사회적 행동에 맞춰 모델을 유지하는 데 시스템 프롬프트 반복보다 더 효과적입니다. 특히, 이 방법은 모델 파라미터나 내부 모델 상태에 대한 접근 없이 수행될 수 있어, 복잡한 다중 에이전트 워크플로우가 블랙박스 모델로 설계되는 점점 더 일반적인 사용 사례에 적합합니다.