트랜스포머 압축의 구조적 분석: 모델 스케일별 한계점 탐구

요약

본 연구는 GPT-2 (124M)와 Mistral 7B (7.24B)를 대상으로 트랜스포머 모델의 압축 가능성을 체계적으로 분석했습니다. 총 40개 이상의 실험을 통해 스펙트럴 압축, 블록 함수 대체, 양자화 등 다양한 기법을 검토했습니다. 주요 발견으로는 고분산 활성화 방향이 예측 방향과 독립적이며(96% 비상관), 트랜스포머 블록의 선형성이 올바른 상위 분포 하에서만 유지된다는 점 등이 있습니다. 특히, 단일 블록 대체가 34배 압축을 달성했으나 다중 블록 대체는 잔여 오차 누적 및 분포 변화로 인해 실패함을 보여주며, 정적인(

핵심 포인트

• 고분산 활성화 방향은 예측 방향과 약 96% 비상관성을 가지며, 이 공간에 투영해도 분산의 90% 이상을 보존할 수 있습니다.
• 트랜스포머 블록의 선형성은 올바른 상위 분포(upstream distribution)가 전제될 때만 유효하며, 앞선 블록 수정은 분포 변화를 야기합니다.
• 단일 블록 대체 기법으로 Mistral 7B의 마지막 블록에서 34배 압축을 달성할 수 있었으나, 다중 블록 대체는 오차 누적 문제로 실패했습니다.
• Mistral 7B 모델은 깊이가 증가함에 따라 선형성이 점진적으로 증가하는 경향(R²: Block 0 $ ightarrow$ Block 31)을 보여줍니다.
• 전체 토큰 중 약 30%가 계산상 쉬운(computationally easy) 영역임을 확인했습니다.