효율적인 LLM 추론을 위한 통합 정적-동적 프루닝 (Unified Static-Dynamic Pruning)

요약

LLM 추론의 병목 현상을 해결하기 위해 정적 프루닝(SP)과 동적 프루닝(DP)을 통합한 SPDP 프레임워크를 제안합니다. 새로운 Tiled-CBC 형식과 GPU 커널 설계를 통해 메모리 대역폭 효율과 연산 강도를 동시에 최적화합니다.

핵심 포인트

• 정적 및 입력 적응형 동적 프루닝을 결합한 통합 희소 추론 프레임워크 SPDP 제시
• Tiled-CBC 형식과 전용 CUDA 커널 설계를 통한 GPU 연산 최적화
• 기존 프레임워크 대비 최대 2.51배의 속도 향상 달성
• 높은 희소성에서도 퍼플렉시티를 유지하며 추론 효율성 개선