두 개 가격에 하나 제공: 곡률 인식 가지치기가 영향 함수도 보존한다

요약

본 논문은 사후 훈련(Post-training pruning) 시 희소 모델과 밀집 모델 간의 그래디언트 정렬을 명시적으로 보존하는 새로운 곡률 인식 목적 함수를 제안합니다. 이를 구현한 ADMM 기반 최적화 도구인 CACTUS는 기존 방법 대비 월등히 빠른 속도와 높은 성능 향상을 보여줍니다. 특히 영향 함수(influence function) 보존을 통해 효과적인 데이터 선택 및 모델 미세 조정에 활용될 수 있습니다.

핵심 포인트

• CACTUS: 곡률 인식 목적 함수를 이용한 새로운 가지치기 최적화 도구.
• 성능 개선: Qwen3-4B 50% 가지치기 시 C4 퍼플렉시티 격차를 45% 감소.
• 효율성 증대: LLM-Surgeon 대비 28배 이상 빠른 속도로 실행 가능.
• 데이터 선택 지원: 영향 함수 보존을 통해 효과적인 데이터 기반 미세 조정 가능.