얼마나 낮게 갈 수 있을까: 베이즈 최적화(Bayesian Optimization)를 이용한 LLM 미세 조정 (LlMBO)

요약

본 논문은 LLM 미세 조정을 위한 새로운 방법인 Large language Model Bayesian Optimization (LlMBO)을 제안합니다. LlMBO는 샘플 효율적이며, 기울기 계산이 필요 없고 메모리 사용량이 적어 대규모 언어 모델의 미세 조정에 효과적인 전역 최적화 방법을 제공합니다.

핵심 포인트

• LlMBO는 LLM 미세 조정을 위한 새로운 베이즈 최적화 기법입니다.
• 기울기가 필요 없고 메모리 사용량이 적어 대규모 모델에 적용 가능합니다.
• GRPO와 비교했을 때, 계산량과 메모리를 절약하며 유사하거나 우수한 성능을 보였습니다.