트랜스포머 추론은 자기회귀 디코딩(autoregressive decoding)에 의해 제한되는데, 이는 풍부한 은닉 계산(hidden computation)을 토큰 공간으로 반복적으로 압축하여 시간 경과에 따른 중간 추론 상태의 지속성을 어렵게 만듭니다. 우리는 이전 토큰에서 캐시된 중간 레이어 표현(cached middle layer representation)을 현재 토큰 위치의 초기 레이어에 직접 융합하는 트랜스포머 기반 잠재적 추론 아키텍처인 시간적 중간 레이어 순환을 갖춘 트랜스포머(Transformers with Temporal Middle-Layer Recurrence, T2MLR)를 소개합니다. 이는 적은 추론 오버헤드만으로도 추상적인 중간 계산이 디코딩 단계 전반에 걸쳐 지속되도록 합니다. 자연어 사전 학습과 다단계 추론 미세 조정(multi-hop reasoning finetuning) 전반에 걸쳐 T2MLR은 데이터 및 파라미터 매칭 트랜스포머 기준선(Transformer base lines)보다 일관되게 우수한 성능을 보였습니다. 더욱이, 순환 구조를 국소적인 중간 레이어 블록(네트워크의 20%만 사용)에만 적용하는 것이 전체 레이어 순환 구조를 적용하는 것보다 더 나은 성능을 보이는 경우가 많았습니다. 중요한 점은 T2MLR이 처음부터 사전 학습할 필요가 없다는 것입니다. 기존에 사전 학습된 1.7B 트랜스포머에 순환 경로(recurrent pathway)를 개조하고 간략하게 미세 조정하는 것만으로도 수학적 추론 능력이 크게 향상되어 실질적인 채택 장벽을 낮춥니다. 이러한 결과는 트랜스포머에서의 효과적인 잠재적 추론이 이전 연구들처럼 모든 레이어를 순환할 필요가 없으며, 대신 목표화된 중간 레이어 순환 구조에서 더 강력하게 나타날 수 있음을 시사합니다.