GEMS: 기하학적 제약이 LLM의 다중 의미 중첩을 가능하게 함

Activation steering (활성화 스티어링)은 재학습 없이 추론 시점에 중간 은닉 상태(intermediate hidden states)를 수정하여 모델의 동작을 제어합니다. 기존 방식은 단일 방향 주입만을 처리합니다. 제약 조건 없이 여러 의미적 방향이 중첩될 경우 모델은 붕괴(collapse)됩니다. 우리는 이러한 붕괴가 독립적으로 작용하는 두 가지 원인으로 분해됨을 보여줍니다: 하나는 층(layer)을 거치며 가산적 섭동(additive perturbations)이 노름(norm) 측면에서 누적되어 활성화를 학습 분포 밖으로 몰아내는 분포 편차(distributional deviation)이며, 다른 하나는 비직교(non-orthogonal) 의미 벡터들이 중첩될 때 서로를 상쇄시키는 방향 간섭(directional interference)입니다. 이 두 가지 원인은 학습이 필요 없는(training-free) 다방향 개입이 반드시 해결해야 하는 설계 제약 조건을 정의합니다. 이러한 원리를 구현한 사례로서, 우리는 각 원인을 상응하는 기하학적 제약 조건으로 매핑하는 학습이 필요 없는 방법론인 GEMS를 제안합니다. 즉, 분포 편차를 위해서는 노름 보존 가중 중첩(norm-preserving weighted superposition)과 표적 어텐션 경로 주입(targeted attention-pathway injection)을 사용하고, 방향 간섭을 위해서는 실시간 직교화(real-time orthogonalization)를 사용합니다. GSM8K 데이터셋에서 세 가지 동시 비수학적 방향을 주입했을 때, 정확도를 98%로 유지했습니다(베이스라인 92%). 반면 제약 없는 가산 방식은 4%로 붕괴되었습니다. Wikitext-2에서는 동일한 주입이 단 2.2%의 PPL(perplexity) 증가만을 초래했습니다. 구성 요소별 절제 연구(ablation)를 통해 각 제약 조건의 인과적 역할을 격리하였으며, 층 수준의 프로브(layer-level probes)를 통해 직교화된 신호가 FFN 경로를 통과하여 의미적 특이성을 유지한 채 출력 분포에 도달함을 확인했습니다. 정성적인 스티어링 효과는 3B에서 31B에 이르는 다양한 아키텍처 전반에 걸쳐 전이됩니다.