초기 표현에 선택적 접근을 허용하는 트랜스포머: SATFormer

요약

본 논문은 트랜스포머 모델이 초기 레이어에서 계산된 중요한 표현 정보를 깊은 층으로 전달하는 과정에서 손실되는 문제를 해결하기 위해 SATFormer를 제안합니다. 기존의 정적 잔류값 추가 방식보다 더 세밀하고 효율적인 접근 방식을 제공하며, 컨텍스트 의존적 게이트 메커니즘을 사용하여 초기 표현에 대한 선택적 재사용을 가능하게 합니다. 그 결과, 특히 검색(retrieval) 중심의 벤치마크에서 기존 방법 대비 성능 향상을 보이며, 처리량과 메모리 사용량 측면에서도 효율성을 유지합니다.

핵심 포인트

• 트랜스포머 모델은 깊은 레이어 전파 과정에서 초기 표현 정보가 손실되는 문제를 겪는다.
• SATFormer는 이 문제를 해결하기 위해 컨텍스트 의존적 게이트를 사용하여 초기 표현에 대한 '선택적 접근(selective access)'을 구현한다.
• 이 방식은 단순한 정적 잔류값 추가보다 훨씬 세밀하며, 희소성, 깊이 의존성 등 다양한 패턴의 선택적 재사용을 학습할 수 있다.
• 검색 집약적인 벤치마크에서 기존 방법 대비 성능 향상을 보이며, 처리량과 메모리 사용량 측면에서도 효율성을 유지한다.