레이어 등가성은 레이어만의 속성이 아니다: 중복성 테스트 방식에 따른 결과의 변화

요약

Transformer 레이어 압축 시 사용되는 교체(Replacement) 테스트와 교환(Interchange) 테스트의 개념적 차이와 그에 따른 결과의 불일치를 분석합니다. 연구 결과, 두 프로토콜은 모델의 규모와 학습 단계에 따라 레이어 제거의 안전성 범위를 크게 변화시키며, 따라서 레이어 병합이나 제거 전 두 가지 스왑-KL 점수를 모두 측정할 것을 권장합니다.

핵심 포인트

• 교체 테스트는 레이어의 대체 가능성을, 교환 테스트는 레이어 간 교환 법칙 성립 여부를 측정함
• 두 테스트 방식은 동일한 스왑-KL 프로브를 사용하더라도 결과가 일치하지 않을 수 있음
• Pythia와 Qwen3-8B 모델에서 학습 단계가 진행됨에 따라 두 프로토콜 간의 간극이 커지는 현상이 관찰됨
• Llama-3.1-8B의 사례처럼 메트릭의 차이가 반드시 실제 가지치기 비용과 일대일로 매핑되지 않을 수 있음
• 효율적인 레이어 압축을 위해 레이블이 없는 순전파 과정만으로 두 가지 스왑-KL 점수를 모두 진단해야 함