심층 신경망이 효과적으로 최적화되었는지 여부를 이해하는 것은 여전히 도전적인 과제입니다. 이는 훈련이 매우 비볼록(nonconvex) 지형에서 이루어지고 표준 지표가 층별 학습 품질에 대한 통찰력을 제공하지 않기 때문입니다. 이 과제는 특히 트랜스포머 기반 언어 모델에서 더욱 급격합니다. 왜냐하면 훈련 비용이 높고, 모델은 종종 고정된 형태로 재사용되며, 최적화가 잘 되지 않은 층은 성능을 침묵적으로 저하시킬 수 있기 때문입니다.

우리는 각 트랜스포머 층이 훈련된 모델의 중간 표현에 대해 로컬로 최적화되는 방식의 층별 peeling 프레임워크를 제안합니다. 경량화된 층별 참조 솔루션을 구축하고, 다양한 순열(permutations) 을 통해 여러 중간 출력에 층을 투영함으로써, 미세한 진단이 가능한 최적화되지 않은 층을 가능하게 하는 달성 가능한 기준선을 얻습니다.

디코더 전용 트랜스포머 모델에 대한 실험은 이러한 층별 참조 범위가 훈련의 various stages 에서 훈련된 모델과 일치하거나 이를 초과할 수 있음을 보여줍니다. 이는 집계 손실 곡선에서 숨겨진 비효율성을 드러냅니다. 우리는 또한 이 분석이 binarization 및 양자화(quantized) 설정에서도 효과적임을 입증합니다. 여기서 훈련 동역학은 특히 취약하기 때문입니다.

모든 수치 결과에 걸쳐, 제안된 범위는 apparent convergence 와 effective optimality 를 일관되게 분리하며, 훈련 손실에만 의존할 때 보이지 않는 최적화 기회를 강조합니다.