안녕하세요 여러분, 며칠 전 제 앱인 llama-launcher에 대한 게시물을 보신 분들이 계실 겁니다. 이 앱은 llama-server 명령어를 입력할 필요 없이 클릭만으로 만들 수 있는 가벼운 GUI입니다. 방금 optuna 프레임워크를 통해 Tree-Structured Parzen estimation을 사용하는 최적화 기능을 추가했습니다. 이 기능은 llama-server를 사용하여 미리 결정된 일련의 매개변수들을 조정함으로써 시스템에서 마지막 성능까지 짜낼 수 있도록 도와줍니다. 완전히 손대지 않고도 말이죠. 저는 이 기능을 사용해서 MTP 모델들로부터 최대한의 성능을 얻고 있습니다. 예전에는 책상에 앉아 직접 튜닝하고, 로딩하고, 프롬프트를 넣고, 언로딩하는 과정을 반복해야 했거든요. 지금까지 테스트 결과, 아무런 인간의 개입 없이 최적화 과정이 진행되었음에도 불구하고, 기본 명령어(tuning 없음)를 사용했을 때와 비교하여 Gemma 12B MTP에서 최대 15%의 속도 향상을 확인했습니다 (이미지 참조). 아직 초기 단계라 개선할 부분이 많지만, 여러분의 제안을 알려주시면 감사하겠습니다.

저장소는 여기에서 확인할 수 있습니다: https://github.com/SolaryKryptic/llama-launcher