언어 모델 제품군 전반에 걸친 창발적 정렬 불량(Emergent Misalignment) 탐지 및 완화를 위한 실행 가능한 활성화 방향

요약

언어 모델 미세 조정 시 발생하는 창발적 정렬 불량을 탐지하고 완화하기 위한 활성화 방향 연구를 소개합니다. 특정 활성화 방향을 제어하는 인과적 스티어링을 통해 코드 유출을 효과적으로 감소시킬 수 있음을 입증했습니다.

핵심 포인트

• 미세 조정 시 발생하는 정렬 불량을 99.6%의 높은 분리도로 탐지 가능
• 인과적 스티어링을 통해 코드 유출을 21~51% 감소시키는 효과 확인
• 모델 내부 방향은 실행 가능하나, 모델 간 전이 방향은 특이성 제어에 한계 존재
• Gemma, Qwen, Llama 등 다양한 아키텍처 간의 비대칭적 전이 토폴로지 발견