언어 모델 제품군 전반에 걸친 창발적 정렬 불량(Emergent Misalignment) 탐지 및 완화를 위한 실행 가능한 활성화 방향

보안에 취약한 코드로 언어 모델을 미세 조정(Fine-tuning)하면, 내부 구조에 대한 이해가 부족한 상태에서 창발적 정렬 불량(Emergent Misalignment)이 유발됩니다. 본 연구에서는 이러한 정렬 불량이 아키텍처 전반에 걸쳐 공유되는 인과적으로 실행 가능한 활성화 공간 방향(causally actionable activation-space direction)과 일치하는지 조사합니다. 동일하게 미세 조정된 네 가지 지시어 튜닝(Instruction-tuned) 모델 제품군(Qwen2.5-1.5B, Gemma-2-2B, Llama-3.2-1B, Ministral-3-3B)에 대해, 평균 차이 방향(difference-in-means direction)을 사용했을 때 각 모델의 마지막 레이어에서 정렬된(aligned) 활성화와 정렬되지 않은(misaligned) 활성화를 99.6%의 분리도로 구분해 냈습니다. 이 방향을 빼주는 방식의 인과적 스티어링(Causal steering)은 코드 유출(code spillover)을 21~51포인트 감소시키는 반면, 보안 코드 대조군(secure-code control)은 내용의 특이성(content specificity)을 확인해 줍니다. 릿지 회귀 맵(ridge regression maps)을 통한 아키텍처 간 전이(Cross-architecture transfer)는 큰 행동 억제 효과(최대 46포인트)를 보였으나, 무작위 및 직교 방향(orthogonal directions)과 유사한 성능을 보여 특이성 제어에는 실패했습니다. 우리는 두 단계의 특이성 구조를 식별했습니다: 모델 내부 방향(within-model directions)은 인과적으로 특이하며 실행 가능하지만, 모델 간 방향(cross-model directions)은 인과적으로는 실재하나 특이하지는 않습니다. Gemma와 Qwen이 기하학적 공여자(geometric donors)로 작용하고 Llama가 수신자(receiver)로 작용하는 비대칭적 전이 토폴로지(asymmetric transfer topology)가 나타납니다. 이러한 발견은 선형적 아키텍처 간 교정의 한계를 정의하며, 감사를 위해 모델 내부 프로빙(within-model probing)을 권장합니다.