Transformer Geometry Observatory TGO-I: 스펙트럼 기하학 관측소

Vision Transformers (ViTs)의 광범위한 채택과 수많은 컴퓨터 비전 애플리케이션에서의 성공에도 불구하고, 이들의 차원적 및 표현적 기하학 (representational geometry)에 대한 근본적인 이해는 여전히 상대적으로 미개척 상태로 남아 있습니다. 이러한 격차를 해소하기 위해, 우리는 Vision Transformers의 표현 기하학 (representational geometry)과 역학 (dynamics)을 조사하기 위해 설계된 실험 및 분석 파이프라인의 체계적인 프레임워크인 Transformer Geometry Observatory (TGO)를 소개합니다. 이 프레임워크의 첫 번째 단계인 TGO-I은 ViT 표현의 스펙트럼 기하학 (spectral geometry)에 초점을 맞춥니다. ImageNet-100으로 학습된 ViT-Small/16 모델을 사용하여, 우리는 학습 과정 전반에 걸쳐 유효 순위 (Effective Rank), 안정 순위 (Stable Rank), 참여 비율 (Participation Ratio), 스펙트럼 엔트로피 (Spectral Entropy), 스펙트럼 평탄도 (Spectral Flatness), 스펙트럼 이방성 (Spectral Anisotropy), 공분산 구조 (covariance structure), 고유 스펙트럼 (eigenspectra), 그리고 특이값 스펙트럼 (singular value spectra)을 분석합니다. 우리의 결과는 차원 활용도 (dimensional utilization)의 일관된 증가와 함께, 이방성 (anisotropy)의 감소, 스펙트럼 엔트로피 (spectral entropy)의 증가, 참여 비율 (participation ratio)의 증가, 그리고 점진적으로 더 평탄해지는 고유 스펙트럼 (eigenspectra)을 보여줍니다. 학습이 소수의 지배적인 방향으로 정보를 집중시켜야 한다는 일반적인 직관과는 반대로, 우리는 표현 차원 (representational dimensions) 전반에 걸쳐 분산 (variance)이 점진적으로 재분배되는 것을 관찰합니다. 이러한 현상은 네트워크 내에서 가장 높은 유효 차원성 (effective dimensionality)과 가장 낮은 이방성 (anisotropy)을 보이는 최종 CLS 토큰 표현에서 특히 두드러지게 나타납니다.