모델 크기, 특히 깊이(depth)와 폭(width)을 확장하는 것은 트랜스포머(transformer) 기반 언어 모델의 상당한 발전을 이끌어왔습니다. 그러나 대부분의 아키텍처는 모든 레이어에 걸쳐 일정한 폭을 유지하며, 서로 다른 레이어가 잠재적으로 구별되는 계산적 역할을 수행할 수 있음에도 불구하고 고정된 파라미터(parameter) 및 계산 예산을 균등하게 할당합니다. 본 연구에서는 $\times$ 모양의 > <former 아키텍처를 제안함으로써 네트워크 깊이에 따른 비균일한 용량 할당(nonuniform capacity allocation)을 경험적으로 조사합니다. 이 설계는 파라미터가 필요 없는 잔차 크기 조정(residual resizing) 메커니즘을 활용하여 초기 및 후기 레이어는 더 넓게 유지하고 중간 레이어는 좁게 만듭니다. 200M에서 2B 파라미터(dense) 및 3B 파라미터(MoE)에 이르는 디코더 전용(decoder-only) 언어 모델 전반에 걸쳐, 우리의 > <former는 언어 모델링 손실(language modeling loss) 측면에서 파라미터 수가 동일한 균일(uniform) 베이스라인 모델들을 지속적으로 능가합니다. 평균 레이어 폭을 줄임으로써, 이 아키텍처는 또한 더 적은 전체 FLOPs(손실 매칭 스케일링 곡선 하에서 22% 감소)와 더 작은 KV 캐시(KV cache) 메모리 및 I/O 비용(15% 감소)을 요구합니다. 분석을 통해, 우리는 이러한 병목(bottleneck) 구조가 잔차 스트림(residual streams)에서 질적으로 다른 표현(representations)을 생성한다는 것을 보여줍니다. 종합적으로, 우리의 결과는 비균일한 폭 할당이 언어 모델의 더욱 자원 최적화된 스케일링(scaling)을 가져올 수 있음을 입증합니다.