로컬에서 대규모 언어 모델(LLM)을 실행하는 도구가 점점 많아지고 있습니다. 추론 엔진(Inference Engine)만 해도 Ollama, llama.cpp, vLLM 등이 있으며, 모델과 인터페이스는 제외한 수치입니다.

LLMs-local은 로컬에서 대규모 언어 모델을 실행하는 것과 관련된 리소스들을 한데 모아 정리했습니다. 추론 엔진, 모델, 하드웨어, 튜토리얼이 모두 포함되어 있습니다.

추론 엔진에는 Ollama, llama.cpp, vLLM 등이 수록되어 있으며, 인터페이스에는 Open WebUI, Lobe Chat이 있으며, 모델은 용도별로 분류되어 있습니다.

GitHub: https://t.co/sCXZFKZDee

또한 미세 조정(Fine-tuning) 도구, 에이전트(Agent) 프레임워크, 훈련 튜토리얼 및 하드웨어 구매 권장 사항도 수록되어 있어, 이 리스트 하나만으로 전체 생태계를 거의 파악할 수 있습니다.

자신의 기기에서 모델을 실행할 계획인 분들은 이 컬렉션을 먼저 살펴보며 방향을 찾아보시기 바랍니다.