대형 비전 언어 모델의 구조적 가지치기: 가지치기 역학, 복구 및 데이터 효율성에 대한 포괄적 연구

요약

본 연구는 대형 비전 언어 모델(LVLMs)을 제한된 자원의 엣지 디바이스에 효율적으로 배포하기 위한 구조적 가지치기 및 경량 복구 학습 방법을 제안합니다. 레이어별/너비별 가지치기를 적용하고, 지도 학습과 지식 증류를 결합하여 성능 저하를 최소화하는 다양한 복구 전략을 탐구했습니다. 특히, 적은 데이터(원본의 5%)만으로도 높은 수준의 복구가 가능하며, 너비별 가지치기가 자원이 제한적인 환경에서 우수한 성능을 보임을 입증했습니다.

핵심 포인트

• LVLMs를 엣지 디바이스에 배포하기 위해 구조적 가지치기(structural pruning)와 경량 복구 학습(lightweight recovery training)의 조합을 제안합니다.
• 레이어별 및 너비별 가지치기 패러다임을 탐구하고, 이를 지도 학습 및 지식 증류 기법과 결합하여 성능 저하를 최소화했습니다.
• 데이터가 부족한 저자원 시나리오에서도 원본 데이터의 5%만 사용하여 원래 성능의 95% 이상을 복구할 수 있음을 입증했습니다.
• 너비별 가지치기(widthwise pruning)는 계산 자원이 제한적이거나 충분한 파인튜닝 데이터가 없는 환경에서 특히 효과적입니다.