인과적 셀프 어텐션(causal self-attention)의 2차 비용은 긴 컨텍스트 트랜스포머 추론을 심각하게 병목시킵니다. 수많은 사후(post hoc) 선형화 파이프라인이 존재하지만, 어떤 구성 요소가 모델 품질을 보존하는지 식별하기 어렵습니다. 본 연구는 엄격한 고정 백본(frozen-backbone) 체제에서 상태 업데이트 설계의 영향을 분리하여 분석합니다. 우리는 softmax가 키 의존적(key-dependent), 랭크-1 직교 투영(rank-1 orthogonal projections)에 의존한다는 것을 보여주며, 이로 인해 왜 델타 스타일 네트워크(delta-style networks)가 순수 게이팅 누적(purely gated accumulation)보다 우수한 성능을 보이는지 설명합니다. 우리는 근사 오차의 잠재적인 원인을 식별하고, 싱크 토큰(sink tokens), 짧은 컨볼루션(short convolutions), 고정 예산 캐시 라우팅(fixed-budget cache routing)과 같은 구조적 개입을 도입하여 남아있는 격차를 줄입니다. 우리는 이 선형화 접근 방식을 LLaMA와 Qwen 모델의 최대 32B 파라미터까지 확장했으며, MMLU에서 이전 사후 기준선(post hoc baselines)을 능가하고 복잡한 적응형 캐싱 프레임워크의 긴 컨텍스트 검색 성능과 일치함을 보여줍니다.