최근 몇몇 트랜스포머 (Transformer) 아키텍처는 낮은 수준의 특징이 잔류 스트림 (residual stream) 을 깊이 (depth) 를 통해 반복적으로 변환됨에 따라 회복하기 어려워진다는 관찰을 바탕으로, 초기 층에서 계산된 표현을 후속 층에 노출합니다. 이러한 방법들 중 가장 저렴한 방법은 정적 값 잔류값 (static value residuals) 을 추가하는 것으로, 토큰과 헤드 (head) 를 균일하게 노출하기 위해 학습된 혼합 계수를 사용합니다. 더 표현력 있는 밀집 또는 동적 대안들은 더 세밀한 접근을 회복하지만, 높은 메모리 비용과 낮은 처리량 (throughput) 을 내립니다.

V_1 의 유용성은 토큰, 헤드, 컨텍스트에 따라 일정하지 않을 가능성이 높습니다. 다른 위치는 초기 어휘 또는 의미 정보에 대한 다양한 양의 접근이 필요할 수 있습니다. 따라서 우리는 초기 표현 재사용을 연결성 문제 (connectivity problem) 가 아닌 검색 문제 (retrieval problem) 로 간주하고, 컨텍스트 의존적 게이트 (context-dependent gate) 를 통해 접근을 제어하는 선택적 접근 트랜스포머 (SATFormer) 를 소개합니다. 130M 에서 1.3B 파라미터에 걸친 모델들에서 SATFormer 는 정적 값 잔류값 및 트랜스포머 베이스라인보다 일관되게 검증 손실과 제로샷 정확도 (zero-shot accuracy) 를 개선합니다.

가장 강력한 이득은 검색 집약적 벤치마크 (retrieval-intensive benchmarks) 에서 나타나며, 정적 값 잔류값 대비 약 1.5 평균 포인트를 개선하면서 베이스라인 트랜스포머와 유사한 처리량과 메모리 사용량을 유지합니다. 게이트 분석은 SATFormer 가 초기 표현의 선택적 재사용을 학습한다는 해석을 지지하며, 이는 균일한 잔류 복사 (uniform residual copying) 가 아닌 희소성 (sparse), 깊이 의존성 (depth-dependent), 헤드 특이성 (head-specific), 카테고리 민감성 (category-sensitive) 접근 패턴을 시사합니다. 코드는 https://github.com/SkyeGunasekaran/SATFormer 에서 이용 가능합니다.