Looped transformer(루프형 트랜스포머)는 공유된 블록을 여러 번 적용하며, 언어 모델(Language Models)에서 연산량(Compute)을 확장하기 위한 매개변수 효율적인(Parameter-efficient) 경로로 등장했습니다. 그러나 고정된 FLOPs(부동 소수점 연산량) 환경에서 루프형 모델은 베이스라인 트랜스포머(Baseline Transformer)보다 용량(Capacity)이 엄격히 적습니다. 우리는 연산량(즉, 은닉 상태(Hidden State)에 적용되는 순차적 연산의 횟수)과 용량(즉, 단일 단계에서 사용 가능한 매개변수)을 유연하게 확장할 수 있는 새로운 이중 경로 블록(Dual-path block)을 제안합니다. 이를 위해 우리는 두 축을 단일 레이어 내의 병렬 경로로 노출합니다: 공유된 매개변수로 K번 재적용되는 깊은 서브레이어(Deep sublayer)와, 한 번 적용되는 확장된 피드포워드 네트워크(Feed-forward network)를 가진 넓은 서브레이어(Wide sublayer)입니다. 토큰별로 독립적인 게이트(Per-token gates)가 두 축을 결합하며, 상세한 토큰별 라우팅(Routing) 분석을 가능하게 합니다. 우리는 두 가지 FLOP 예산(Budgets) 전반에 걸쳐, 우리의 이중 경로 모델이 언어 모델링(Language modeling) 및 다운스트림 평가(Downstream evaluations)에서 동일 FLOP(Iso-FLOP) 매칭 모델을 능가하는 동시에, 동일 FLOP 환경에서 베이스라인보다 더 적은 매개변수를 사용함을 보여줍니다. 학습된 게이트는 직접적으로 해석 가능하며, 기능어(Function words)와 어휘적 내용(Lexical content)은 넓은(Wide) 경로를 따르고, 문장 부호, 기호 및 산술 토큰(Arithmetic tokens)은 깊은(Deep) 경로를 따르는 체계적인 토큰별 할당을 보여줍니다.