초기 표현에 선택적 접근을 가진 트랜스포머 (SATFormer)

요약

본 논문은 트랜스포머 모델의 효율성과 성능 간의 트레이드오프를 개선하기 위해 SATFormer라는 새로운 아키텍처를 제안합니다. 기존 방법들이 초기 표현을 후기 레이어에 균일하게 복사하는 방식과 달리, SATFormer는 토큰별, 헤더별, 컨텍스트 의존적인 게이트 메커니즘을 사용하여 각 어텐션 헤드가 첫 번째 레이어의 값 스트림(value stream)에 접근해야 하는 시점과 위치를 학습합니다. 그 결과, 기존 트랜스포머 및 경쟁 모델 대비 검증 손실 개선은 물론, 유사한 처리량으로 더 높은 성능을 달성하며 효율성을 크게 향상시켰습니다.

핵심 포인트

• SATFormer는 초기 표현 재사용을 위한 새로운 접근 방식으로, 단순 잔류 연결 대신 게이트 메커니즘을 사용합니다.
• 이 게이트는 토큰별, 헤더별, 컨텍스트 의존적이며, 각 어텐션 헤드가 첫 레이어 값 스트림에 언제 어디서 접근할지 학습합니다.
• SATFormer는 기존 트랜스포머와 유사한 처리량을 유지하면서도 경쟁 모델 대비 높은 성능 향상을 보여주었습니다 (예: MUDDFormer 상회).
• 연구진은 초기 표현 재사용을 연결성 문제보다는 검색/제어(Search/Control) 문제로 접근하는 것이 더 효과적임을 시사합니다.