Depth-routing 잔차 구조 (Depth-routing residual architectures)는 Transformer 레이어가 바로 직전의 상태만을 상속받는 대신, 이전의 표현(representations)들을 검색할 수 있게 해줍니다. 그러나 기존의 블록 어텐션 잔차 (Block Attention Residuals) 방식은 쿼리(queries), 키(keys), 값(values)의 입력을 구성하기 위해 단일한 콘텐츠 의존적 깊이 혼합 (content-dependent depth mixture)을 사용합니다. 이러한 설계는 기능적으로 서로 다른 두 가지 결정 사항을 결합합니다. 즉, 쿼리와 키는 어텐션이 어디에서 매칭될지를 결정하는 반면, 값은 어떤 콘텐츠가 검색될지를 결정합니다. 따라서 우리는 매칭과 콘텐츠 검색이 반드시 동일한 깊이로부터 읽어오도록 강제되어야 하는지 질문을 던집니다. 우리는 역할 분리형 어텐션 잔차 (Role-Decoupled Attention Residuals, RD-AttnRes)를 도입합니다. 이는 쿼리와 키 사이에는 하나의 깊이 경로 (depth route)를 공유하면서, 동일한 잔차 소스에 대해 독립적인 값 경로 (value route)를 학습하는 최소한의 확장 방식입니다. 두 라우팅 쿼리를 동일하게 묶으면 부모 아키텍처를 그대로 복구하며, 이를 분리할 경우 레이어당 단 하나의 모델 너비 벡터(model-width vector)만 추가될 뿐 추가적인 토큰 간 어텐션 연산은 발생하지 않습니다. 우리는 120M 및 343M 파라미터 모델에 대해 5개의 매칭된 시드(seeds)와 2.0B 토큰의 학습 예산을 사용하여 FineWeb-Edu 데이터셋 상에서 동결된 쌍을 이룬 사전 학습 프로토콜 (frozen, paired pretraining protocol)로 RD-AttnRes를 평가했습니다. RD-AttnRes는 10개의 매칭된 비교 실험 모두에서 검증 부정 로그 가능도 (validation negative log-likelihood)를 개선했습니다. 평균 감소량은 각각 0.0301과 0.0247이며, 이는 120M 및 343M 파라미터에서 각각 2.97%와 2.43%의 퍼플렉시티 (perplexity) 감소에 해당합니다. 초기 예산 통제 실험 결과, 추가된 파라미터 수, 중복된 라우팅 실행, 또는 고정된 값 경로 중 그 어느 것도 이러한 개선을 재현하지 못함을 확인했습니다. 라우팅 진단 결과는 쿼리-키 깊이 분포와 값 깊이 분포 사이에 지속적인 차이가 있음을 보여줍니다. 이러한 결과는 평가된 학습 체계 내에서, 어텐션 매칭과 콘텐츠 검색이 잔차 계층 구조(residual hierarchy)에 대한 서로 다른 읽기 방식으로부터 이득을 얻는다는 것을 시사합니다.