llama.cpp에서 Fast LoRA 구현

요약

본 글은 llama.cpp에서 LoRA(Low-Rank Adaptation)를 활용한 모델 구동 성능 개선에 대한 내용을 다룹니다. 기존의 일반적인 LoRA 커널과 융합된(fused) LoRA 커널을 개발하여, 특히 Strix Halo 환경에서 추론 속도(t/s)를 크게 향상시켰습니다. 이 변경 사항은 llama.cpp 저장소에서 확인할 수 있습니다.

핵심 포인트

• Strix Halo에 최적화된 fast LoRA 커널 구현
• 일반 LoRA 커널로 성능을 1000 t/s까지 개선
• 융합(fused) LoRA 커널로 추가적인 속도 향상 (1400 t/s)
• llama.cpp의 아키텍처 변경 필요성 언급