Residual-Free Transformer의 양자화 이점

대규모 Transformer (트랜스포머) 학습 및 배포는 가속기 간의 활성화 함수 (activations), 그래디언트 (gradients), 그리고 옵티마이저 상태 (optimizer states)의 전송으로 인해 점점 더 제약을 받고 있습니다. 저비트 양자화 (Low-bit quantization)는 자연스러운 해결책을 제공하지만, Transformer 활성화 함수는 종종 헤비 테일 (heavy-tailed) 분포를 보이고 이상치 (outlier)가 지배적이어서 단순한 양자화를 적용할 경우 손실이 매우 큽니다. 우리는 이러한 어려움이 양자화기 (quantizer)만의 특성이 아니라 아키텍처 (architecture)의 특성이기도 하다는 것을 보여줍니다. 구체적으로, 잔차 연결 (residual connections)은 학습 과정에서 Transformer 활성화 함수를 가우시안 분포 (Gaussianity)로부터 멀어지게 만들 수 있습니다. 잔차 기반 (residual) Transformer와 잔차 없는 (residual-free) Transformer 간의 통제된 비교를 통해, 우리는 이러한 효과가 잔차 모델에서 저정밀도 (low precision) 시 실질적으로 더 높은 양자화 오차와 정확도 저하를 초래한다는 것을 입증합니다. 우리는 초과 첨도 (excess kurtosis) 분석을 통해 이 현상을 설명하며, 잔차 혼합 (residual mixing)은 비가우시안성 (non-Gaussianity)을 증폭시킬 수 있는 반면, 잔차 없는 모델의 조밀한 혼합 (dense mixing)은 비가우시안성을 수축시킨다는 것을 보여줍니다. 그런 다음 우리는 직교 초기화 (orthogonal initialization), 스펙트럼 (spectral) 또는 2차 최적화 (second-order optimization), 그리고 어텐션 온도 (attention temperature)의 깊이 인지 스케일링 (depth-aware scaling)을 사용하여 잔차 없는 Transformer를 학습 가능하게 만들 수 있음을 보여줍니다. 언어 작업 (language tasks)에서 이러한 모델들은 전체 정밀도 (full precision) 성능은 약간 하락하지만, 가우시안에 가까운 활성화 함수를 유지하며 저비트 양자화에 대해 현저히 향상된 강건성 (robustness)을 나타냅니다. 우리의 결과는 Transformer 설계에 있어 정확도와 압축성 사이의 트레이드오프 (trade-off)를 식별하며, 양자화 친화적인 파운데이션 모델 (foundation models)을 위한 아키텍처 수준의 접근 방식을 촉구합니다.