트랜스포머 표현은 현재 방향을 유지하거나 재지정하는 학습된 가산 변환(additive transformations)을 통해 진화합니다. 우리는 이러한 진화를 함수적 기하학(functional geometry)으로 연구하고, 학습된 업데이트를 평행 성분과 수직 성분으로 분해합니다. 사전 학습된 모델 전반에 걸쳐, 잔차 항등 경로(residual identity path)를 넘어서는 상당한 평행 성분을 발견했습니다. 그런 다음 이 분해를 두 가지 공간에 적용합니다: 은닉 상태(hidden state)에 대한 어텐션 및 MLP 업데이트, 그리고 현재 토큰의 값(value)에 대한 어텐션 값 집계입니다. 표적 편집(Targeted edits)은 강한 공간 의존적 비대칭성을 드러냅니다: 제외-자신 값 공간(exclude-self value-space) 평행 조작이 잔차 공간 및 수직 대응물보다 현저히 더 강력하여, 직접적인 자체 메시지(direct self message)는 유지하면서 비-자체 집계(non-self aggregate)만 스케일링합니다. 동일한 분해는 압축 유도 업데이트 오류에 대한 구성 요소별 설명(component-resolved description)을 제공합니다: 수직 오류가 평행 오류보다 압축 방법을 더 명확하게 분리합니다. 광범위한 실험은 또한, 처음부터 사전 학습하는 동안 전체 집계 평행 억제(full-aggregate parallel suppression)가 검증 손실 궤적(validation-loss trajectories)을 낮추고 다운스트림 평균 성능을 향상시킨다는 것을 입증하며, 값 공간 변형이 가장 강력합니다. 종합적으로, 이러한 결과는 표현 기하학을 편집 강건성, 압축 진단, 그리고 학습 시간 개입과 연결합니다. 코드는
https://github.com/Shwai-He/Transformer-Geometry 프로젝트 저장소에서 이용 가능합니다.