Geometric Evolution Maps: Transformer Residual Streams에서 안정적인 Concept Probe 추출하기

Transformer Residual Streams (잔차 스트림)에서 추출된 Concept Probes (개념 프로브)는 추출된 레이어의 신뢰도만큼만 신뢰할 수 있습니다. 고정된 후기 레이어 또는 분리 점수 함수 (separation score function)의 정점에서 프로빙을 수행하는 일반적인 관행은 근본적인 구조적 특징을 간과합니다. 즉, 개념 표현 (concept representations)은 조립 단계 (assembly phase) 동안 상당한 방향 회전 (directional rotation)을 거치며, 주요 Concept Allocation Zone (CAZ, 개념 할당 구역) 이후의 특징적인 Handoff Layer (인계 레이어)에 도달하기 전까지는 안정적인 방향으로 정착하지 않습니다.

본 논문에서는 Geometric Evolution Maps (GEMs)를 소개합니다. GEMs는 Residual Stream (잔차 스트림) 활성화를 통해 개념의 전체적인 방향 궤적 (directional trajectory)을 추적하고, 회전이 멈추는 Handoff Layer를 식별하며, 해당 레이어로부터 정착된 Probe Direction (프로브 방향)을 추출합니다. 70M에서 14B 파라미터에 이르는 23개의 아키텍처와 17가지 개념 유형에 걸쳐 실험한 결과, CAZ 내에서의 진입 대비 종료 시점의 Cosine Similarity (코사인 유사도) 평균은 0.233으로 나타났으며, 이는 CAZ 진입 시의 프로브 방향이 종료 시점의 프로브 방향을 안정적으로 예측하지 못함을 보여줍니다.

391개의 개념 x 모델 쌍 (23개 모델 x 17개 개념)에 대한 Ablation (절제) 실험 결과, GEM으로 추출된 프로브는 391회 중 268회(68.5%)에서 Peak-layer (정점 레이어) 프로브만큼 정밀했으며, 259회(66.2%)에서는 이를 엄격히 능가했습니다. 아키텍처별 차이는 뚜렷했습니다. MHA (Multi-Head Attention) 모델은 221회 중 173회(78.3%)에서 Handoff 방식이 유리했습니다. 반면 GQA (Grouped-Query Attention) 모델은 119회 중 56회(47.1%)에서만 Handoff 방식이 유리했습니다. 모델 수준의 Wilcoxon 검정 결과는 W=214, N=23, p=0.010 (단측 검정)입니다.

적응형 Ablation Width (절제 폭) 규칙은 391개 중 79개의 최종 레이어 근접 사례를 대상으로 하며, 트리거된 79개 사례 중 60개(75.9%)에서 프로브 품질을 개선하여 평균 +7.44pp의 이득을 보였습니다. 방향 특이성 (direction-specificity) 대조 실험을 통해 Ablation 효과가 개념 방향에 특이적임을 확인했습니다: 무작위 방향 Ablation 대비 중앙값 377배의 억제율을 기록했습니다 (개념 방향의 99.1%가 10개의 무작위 시드를 모두 이김). 레퍼런스 구현체: rosetta_tools v1.3.1 (doi:10.5281/zenodo.20361433).