Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 트랜스포머 피드포워드 블록 아키텍처에서 랭크(rank)가 깊이 전반에 걸쳐 어떻게 유지되는지 분석합니다. 기존의 이해를 넘어, 네트워크 표현력 확보 메커니즘을 '기울기 랭크 보존' 관점에서 재해석하며 스킵 연결과 정규화의 역할을 규명했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기우리는 트랜스포머(Transformer) 피드포워드 블록 아키텍처의 각 구성 요소 디자인이 초기화 시 깊이 전반에 걸쳐 얼마나 많은 랭크(rank)를 유지하게 하는지 조사합니다. 우리는 스킵 연결(skip connections)과 정규화(normalization)를 단순히 크기(magnitude)를 제어하는 것으로 오랫동안 이해해 왔던 것을, 네트워크가 표현력을 갖게 만드는 행렬 곱셈과 비선형 활성화 함수 자체가 랭크를 감소시키기 때문에 깊이 전반에 걸쳐 기울기 랭크(gradient rank)를 보존하는 메커니즘으로 재해석합니다. 우리는 스킵 연결이 앙상블(ensemble) 유사 행동과 랭크 붕괴 사이의 상충 관계(tradeoff)를 가져오며, 이는 분지(branch)와 스킵 간의 상대적 크기에 의해 제어됨을 보여줍니다: 스킵 연결은 랭크가 손실되는 잔여 분지(residual branch)를 따라 기울기를 우회시키기보다는, 레이어들이 조합되도록 장려하는 긴 기울기 경로를 따라 이동하게 합니다. 정규화 계층의 배치는 깊이 전반에 걸쳐 분지 대 스킵 비율을 설정함으로써 이와 동일한 상충 관계를 제어하며, 이는 Post-Norm에서 랭크가 붕괴하지만 Pre-Norm에서는 평탄해지는 이유 등 많은 정규화 배치 및 깊이 스케일링 문헌들을 통합합니다. 너비를 확장하고 축소하는 두 개의 행렬 구조와 같은 아키텍처의 다른 측면들은 표현(representation) 또는 분지 자코비안 랭크를 보존하기 위해 추가적인 매개변수를 사용합니다. 두 번째 행렬은 단일 행렬과 비중심화 활성화 함수로 인해 블록 전반에 걸쳐 성장할 수 있는 일관된 평균 스파이크를 디코릴레이션(decorrelate)하여, 잔여 표현이 붕괴하는 것을 방지합니다. 두 행렬 사이의 너비 확장은 분지 자코비안을 풀 랭크(full rank)로 유지하게 합니다: 이 확장된 공간에서 랭크 감소 활성화 함수를 적용해도 원래의 공간을 스팬할 충분한 방향을 남기며, 이는 Marchenko--Pastur 법칙을 따르는 너비에서 발생합니다. 입력-출력 자코비안의 초기화 랭크는 CIFAR-10으로 학습되는 네트워크를 예측합니다. 이 모든 것을 종합하여, 우리는 깊은 네트워크에 대한 아키텍처 디자인을 랭크 붕괴, 앙상블 유사 행동, 그리고 매개변수 수 사이의 본질적인 상충 관계를 탐색하는 것으로 재정립합니다.