T^2MLR: 시간적 중간 레이어 순환을 갖춘 트랜스포머

요약

T2MLR은 이전 토큰의 중간 레이어 표현을 현재 위치 초기 레이어에 융합하는 트랜스포머 기반 잠재적 추론 아키텍처입니다. 이는 자기회귀 디코딩의 한계를 극복하고, 적은 오버헤드로도 시간 경과에 따른 중간 계산 상태를 지속시킵니다. 기존 모델에 순환 경로만 추가하여 미세 조정하는 것만으로도 수학적 추론 능력을 크게 향상시키는 것이 가능합니다.

핵심 포인트

• T2MLR은 중간 레이어 표현을 융합하여 시간적 연속성을 확보합니다.
• 자기회귀 디코딩의 한계를 극복하고 잠재적 추론 능력을 개선했습니다.
• 전체 레이어가 아닌 국소적인 중간 레이어 블록에 순환 구조를 적용하는 것이 효과적입니다.
• 기존 사전 학습 모델에 경로 개조만으로도 높은 성능 향상을 보였습니다.