트랜스포머 구조를 위한 명시적 드롭아웃: 결정론적 정규화 기법

딥러닝에서 드롭아웃(Dropout)은 가장 널리 사용되는 정규화(regularization) 기법 중 하나입니다. 하지만 기존의 방식들은 그 효과를 확률적 마스킹(stochastic masking)을 통해 간접적으로 실현하며, 이는 명시적인 최적화 목적 함수에 직접 통합되기 어렵다는 한계가 있었습니다.

본 논문은 이러한 문제를 해결하기 위해 드롭아웃을 손실 함수(loss function)에 추가되는 결정론적(deterministic) 정규화 항으로 재정의하는 프레임워크를 제안합니다. 이 접근 방식은 트랜스포머 아키텍처에 최적화되어 있으며, 어텐션 메커니즘의 Query($Q$), Key($K$), Value($V$) 컴포넌트와 피드-포워드(Feed-Forward) 네트워크 등 주요 구성 요소 각각에 대해 독립적으로 정규화 강도를 제어할 수 있게 합니다.

핵심 장점 및 기여:

1. 결정론적 제어: 확률적 섭동(stochastic perturbations)에 의존하지 않고, 명시적인 정규화 항을 통해 모델의 학습 과정에 영향을 미칩니다. 이는 정규화 강도에 대한 더 명확하고 세밀한 제어를 가능하게 합니다.
2. 컴포넌트별 독립성: 트랜스포머 구조의 각 핵심 부분(Q, K, V, FFN)을 개별적으로 다룰 수 있어, 특정 컴포넌트에만 과적합이 발생했을 때 선택적으로 정규화를 적용할 수 있습니다.
3. 실용성과 해석 가능성: 기존 방식들이 '어떻게' 작동하는지에 초점을 맞췄다면, 본 방법은 손실 함수에 추가되는 항($ ext{Loss} + ext{Regularization Term}$)을 통해 모델의 어떤 부분이 과적합되었는지 직관적으로 이해할 수 있게 합니다.

실험 결과:
다양한 태스크(이미지 분류, 시간적 액션 탐지, 오디오 분류)에 걸쳐 실험된 결과, 제안된 명시적 드롭아웃은 기존의 암묵적인 방법론과 성능 면에서 동등하거나 더 나은 결과를 보여주었습니다. 특히 어텐션 레이어와 피드-포워드 네트워크 레이어에 적용했을 때 일관된 성능 향상을 확인했습니다.

결론적으로, Explicit Dropout은 확률적 정규화의 실용적인 대안을 제시하며, 다양한 아키텍처와 태스크 전반에 걸쳐 높은 유연성과 해석 가능성을 제공하는 강력한 도구입니다.