역할 분리형 어텐션 잔차 (Role-Decoupled Attention Residuals): 깊이에 따른 매칭과 콘텐츠 검색의 분리

요약

Transformer의 잔차 구조에서 어텐션 매칭(Query-Key)과 콘텐츠 검색(Value)의 역할을 분리하는 RD-AttnRes 구조를 제안합니다. 실험 결과, 매칭과 검색이 서로 다른 깊이의 표현을 참조할 때 모델의 성능이 향상됨을 입증했습니다.

핵심 포인트

• 매칭(Q-K)과 콘텐츠 검색(V)의 경로를 독립적으로 학습하는 RD-AttnRes 도입
• 추가적인 토큰 간 어텐션 연산 없이 모델 너비 벡터만 추가하여 효율적 확장
• 120M 및 343M 모델 실험에서 퍼플렉시티(Perplexity)를 최대 2.97% 개선
• 어텐션 매칭과 콘텐츠 검색이 잔차 계층 구조에 대해 서로 다른 읽기 방식을 가짐을 확인