SliMOO: LLM 깊이 가지치기를 위한 해석 가능한 다중 목적 진화 탐색

요약

본 논문은 LLM의 효율적인 깊이 가지치기를 위해 해석 가능한 다중 목적 진화 탐색 프레임워크인 SliMOO를 제안합니다. 기존 방법들이 단일 점수 최적화에 머물렀던 한계를 극복하고, 과제별 레이어 중요도를 고려한 다중 목표 최적화를 수행합니다. Llama-3.1 및 Qwen3 모델에서 높은 성능 향상을 입증했습니다.

핵심 포인트

• SliMOO는 LLM 깊이 가지치기를 위한 해석 가능한 다중 목적 진화 탐색 프레임워크입니다.
• 과제별 레이어 중요도 맵을 구성하여 이질적인 레이어 기여도를 반영합니다.
• NSGA-II 기반의 파레토 인식 진화 탐색으로 최적의 트레이드오프를 달성합니다.
• Llama-3.1 모델에서 희소성을 적용했을 때 수학 및 코드 도메인 성능이 크게 향상되었습니다.