Manifold Steering Reveals the Shared Geometry of Neural Network Representation

신경 표현 (Neural representations) 은 풍부한 기하학적 구조를 지니고 있지만, 해당 구조가 행동 (behavior) 을 인과적으로 형성하는가? 이 질문에 답하기 위해 우리는 활성화 공간 (activation space) 을 통해 정의된 서로 다른 기하학에 따른 경로를 따라 개입 (intervene) 하고, 그로 인해 유도되는 행동 궤적 (behavioral trajectories) 을 측정합니다. 구체적으로, 우리는 활성화 공간의 기하학을 존중하는 개입이 모델이 자연스럽게 보이는 행동과 유사한 결과를 낳는지 테스트합니다. 구체적으로, 우리는 먼저 표현에 활성화 manifold $M_h$ 를 적합시키고 출력 확률 분포에 행동 manifold $M_y$ 를 적합시킵니다. 그런 다음 우리는 개입을 통해 $M_h \leftrightarrow M_y$ 간의 연결성을 테스트합니다: 우리는 $M_h$ 를 따라 스티어링 (steering) 을 수행하는 것을 발견했는데, 이를 manifold steering(Manifold Steering)이라 부릅니다. 이는 $M_y$ 를 따르는 행동 궤적을 생성하며, 반면 Euclidean 기하학을 가정하는 선형 스티어링 (linear steering) 은 off-manifold 영역을 통과하여 비자연스러운 출력 (unnatural outputs) 을 생성합니다. 또한, 활성화 공간에서 개입을 최적화하여 $M_y$ 를 따라 경로를 생성하면 $M_h$ 의 곡선을 추적하는 활성화 궤적을 복원합니다. 우리는 작업과 모달리티 (modalities) 를 통해 표현의 기하학과 행동 간의 양방향 관계를 증명했습니다. 언어 모델 (language models) 에서는 순환 및 시퀀스 기하학이 있는 추론 과제와 더 복잡한 그래프 기하학이 있는 in-context learning 과제를 사용했습니다. 비디오 월드 모델 (video world model) 에서는 물리 역학에 해당하는 기하학을 가진 과제를 사용했습니다. 전체적으로, 우리의 작업은 신경 표현의 기하학이 단순한 우연이 아니라 내부 개입을 통한 원칙적인 제어 (principled control) 를 가능하게 하는 적절한 대상임을 보여줍니다. 이는 스티어링의 핵심 문제를 올바른 방향 찾기에서 올바른 기하학 찾기로 재정의합니다.