비대칭 루프 트랜스포머: 반복 디코더를 위한 고정 글로벌 표현

요약

본 논문은 단일 패스 컨텍스트 인코딩과 반복 상태 정제를 분리한 Asymmetric Looped Transformer (AsymLoop)를 제안합니다. 이 모델은 고정 글로벌 KV 캐시와 로컬 KV 생성을 결합하여, 기존 Full Loop 방식보다 낮은 퍼플렉서티와 높은 다운스트림 정확도를 달성했습니다. 실험 결과는 비대칭 구조가 순환 언어 모델에 효과적임을 입증합니다.

핵심 포인트

• AsymLoop은 컨텍스트 인코딩과 상태 정제를 분리하여 성능을 개선함.
• Full Loop 대비 낮은 퍼플렉서티와 높은 다운스트림 정확도를 보임.
• 1B 모델에서 상식 추론 벤치마크의 제로샷 정확도가 향상됨.
• 비대칭 구조가 순환 언어 모델에 효과적인 설계임을 제시함.