트랜스포머 구조를 위한 명시적 드롭아웃: 결정론적 정규화 기법

요약

본 논문은 기존의 확률적(stochastic) 마스킹 방식에 의존하는 드롭아웃(Dropout)을 개선하여, 트랜스포머 아키텍처에 직접 통합할 수 있는 결정론적(deterministic) 정규화 기법을 제안합니다. 이 새로운 프레임워크는 어텐션 쿼리(Query), 키(Key), 값(Value), 그리고 피드-포워드(Feed-Forward) 컴포넌트 각각에 대해 독립적으로 조절 가능한 명시적인 정규화 항을 제공합니다. 실험 결과, 이미지 분류, 시간적 액션 탐지, 오디오 분류 등 다양한 태스크에서 기존의 암묵적인 드롭아웃 방식과 동등한

핵심 포인트

• 제안된 Explicit Dropout은 드롭아웃 효과를 훈련 손실(loss)에 직접 추가하는 결정론적 정규화 항으로 구현하여, 확률적 마스킹 의존성을 제거했습니다.
• 트랜스포머의 핵심 컴포넌트인 Attention Query, Key, Value 및 Feed-Forward 레이어 각각에 대해 독립적으로 강도를 제어할 수 있는 명시적인 정규화 계수를 제공합니다.
• 이미지 분류, 시간적 액션 탐지, 오디오 분류 등 다양한 분야에서 기존의 암묵적 드롭아웃 방식과 비교했을 때 성능 저하 없이 일관된 이점을 보여주었습니다.
• 정규화 계수와 드롭아웃 비율을 조절하는 제거 연구(Ablation studies)를 통해 안정적인 성능 유지 및 제어 가능한 정규화가 입증되었습니다.