라우팅은 언제 해석 가능해지는가? 블록 어텐션 잔차(Block Attention Residuals)에 대한 인과적 프로브(Causal

요약

Block Attention Residuals(Block AttnRes)를 통해 모델 내부의 교차 레이어 라우팅을 직접 관찰하고 기계론적 해석 가능성을 연구합니다. 연구 결과, 라우팅의 구조적 노출이 반드시 인과적 중요성을 보장하지는 않으며, 라우팅 메커니즘은 반드시 인과적 개입을 통해 검증되어야 함을 밝힙니다.

핵심 포인트

• Block AttnRes를 통해 간접적이었던 정보 흐름을 직접 관찰 가능
• 학습된 라우팅은 임베딩, 현재 상태, 이전 히스토리 경로의 모티프를 형성
• 라우팅 질량(mass)과 인과적 중요도 사이의 해리 현상 발견
• 구조적 노출은 해석을 위한 필요조건일 뿐 충분조건은 아님