Llama-Studio, llama-server 관리를 위한 WebUI

여러분 안녕하세요,

저는 llama-server 세션을 구성하고 관리하기 위한 WebUI를 직접 제작했으며, 코드와 개념을 공유하고자 합니다. Python과 약간의 JS를 사용했습니다. 마음껏 활용해 보세요!

로컬 전용입니다.

주요 사용 사례는 홈 개발(및 엔터테인먼트) 프레임워크를 위한 인프라 역할을 할 수 있도록 고정된 포트에서 다양한 llama-server 인스턴스를 실행하는 것입니다. 즉, 설정을 만지작거리거나, 실험적 빌드(experimental builds)를 메인라인(mainline)과 비교하고, 최적화하는 작업을 의미합니다. 또한 일상적인 테스트 용도로도 좋습니다.

설정(Configs)은 모델별로 json 파일에 저장되며, 모든 실행 인자(launch args)와 커스텀 llama-server를 위한 선택적 경로로 구성됩니다. 현재 사용 중인 llama-server의 실제 -help 출력 내용을 사용하여 검색 기능이 포함된 실행 인자 브라우저를 구현했습니다. 저는 실행 인자 형식을 잊어버려서 -help를 확인하려고 새 터미널을 열어야 하는 상황을 정말 싫어합니다. Spec MTP가 뭐였지? Draft type이 누구였더라?

선택한 GPU로 실행, VRAM 모니터링, 로드(load) 및 온도(temp) 확인이 가능합니다. 또한 어떤 양자화(quant)를 사용할 때 무엇이 어디에 들어갈지 추정하는 데 도움이 되는 다소 기본적인 VRAM 계산기도 포함되어 있습니다.

마지막으로, 지하실이나 IT 전산실에 있을 때 휴대폰으로 테스트를 실행하고 설정을 만질 수 있는 합리적인 모바일 인터페이스를 제공합니다. 로그 표시/숨기기, 시작, 중지, 설정 변경 등이 가능합니다. 작은 휴대폰 키보드로 입력하는 키 스트로크(keystrokes)를 줄였습니다. 정신 건강에 +100점입니다.