Manifold Steering Reveals the Shared Geometry of Neural Network Representation

요약

본 논문은 신경망 표현(Neural representations)이 지닌 복잡한 기하학적 구조가 실제 행동을 인과적으로 형성하는지 탐구한다. 연구진은 활성화 공간에서 정의된 '매니폴드 스티어링(Manifold Steering)'이라는 방법을 사용하여, 모델의 내부 표현($M_h$)을 특정 행동 매니폴드($M_y$)를 따라 조작함으로써 자연스러운 행동 궤적을 생성함을 입증했다. 이 접근 방식은 기존의 유클리드 기하학 기반 선형 스티어링이 비자연적인 결과를 초래하는 한계를 극복하고, 표현의 기하학이 원칙적인 제어를 가능하게 하는 핵심 요소임을 보여준다.

핵심 포인트

• 신경망 활성화 공간의 복잡한 기하학적 구조를 활용하여 행동을 인과적으로 조작할 수 있다.
• Manifold Steering은 모델의 내부 매니폴드($M_h$)가 목표 행동 매니폴드($M_y$)를 따라 움직이도록 개입하는 방법이다.
• 기존 선형 스티어링 방식은 기하학적 제약(off-manifold)을 무시하여 비자연스러운 출력을 생성할 수 있다.
• 표현의 기하학과 행동 간에 양방향 관계가 존재하며, 이는 언어 모델 및 물리 역학 기반 월드 모델 등 다양한 작업에서 검증되었다.