Llama-Studio, llama-server 관리를 위한 WebUI

요약

이 글은 llama-server 세션을 구성하고 관리하기 위한 WebUI를 소개하며, Python과 JavaScript를 사용하여 직접 제작했음을 밝히고 있습니다. 이 도구는 로컬 환경에서 여러 llama-server 인스턴스를 고정된 포트에서 실행하여 홈 개발 및 실험적 빌드 비교 등 다양한 용도로 활용할 수 있게 합니다. 주요 기능으로는 모델별 JSON 설정 저장, 검색 기능을 갖춘 실행 인자 브라우저, GPU 리소스(VRAM 모니터링, 로드/온도) 확인, VRAM 계산기, 그리고 휴대폰에서도 사용 가능한 간편한 모바일 인터페이스 등이 포함되어 있습니다.

핵심 포인트

• 로컬 환경에서 여러 llama-server 인스턴스를 관리하고 실행할 수 있는 WebUI를 제공합니다.
• 모델별 설정(configs)을 JSON 파일에 저장하며, 모든 실행 인자 및 커스텀 경로를 구성할 수 있습니다.
• 실행 인자 검색 기능과 GPU 리소스 모니터링(VRAM, 로드, 온도) 기능을 통합했습니다.
• VRAM 계산기를 포함하여 메모리 사용량을 예측하고 관리하는 데 도움을 줍니다.
• 모바일 환경에서도 로그 확인, 시작/중지, 설정 변경 등이 가능한 인터페이스를 제공합니다.