Invariant Features in Language Models: Geometric Characterization and Model

요약

본 논문은 언어 모델(LLM) 내부에서 의미 정보가 어떻게 안정적으로 인코딩되는지 탐구하며, 이러한 '불변성'의 구조와 기원을 밝히는 것을 목표로 합니다. 연구진은 잠재 공간에 로컬 기하학적 프레임워크를 제안하여, 의미적으로 동등한 입력들이 특정 불변 부분공간을 형성한다고 가정합니다. 이를 통해 모델이 의미 변화(paraphrastic change) 중에도 핵심적인 의미 동일성을 보존하는 메커니즘을 기하학적으로 특성화하고, 이 불변 표현을 0-shot 모델 귀속에 적용하여 그 효과를 입증했습니다.

핵심 포인트

• 의미적 불변성은 언어 모델의 잠재 공간 내 로컬 기하학적 속성으로 이해될 수 있다.
• 연구진은 의미 변화가 발생하는 방향(방해 방향)과 의미 동일성이 보존되는 부분공간을 분리하는 방법을 제시했다.
• 불변 구조는 특정 깊이 영역에서 나타나며, 이는 모델의 출력에 대한 원인적 역할을 할 수 있음을 시사한다.
• 제안된 불변 표현은 0-shot 모델 귀속(model attribution) 작업에 성공적으로 적용되어 의미 보존 능력을 입증했다.