Anthropic/OpenAI를 대체하고 싶나요? 이것부터 시작하세요

LLM (Large Language Models)을 로컬에서 실행하기 위한 성서가 이제 온라인에서 무료로 읽을 수 있게 되었습니다.

다음 사항들에 대해 다룹니다...

다음 환경에서 무엇을 사용할지에 대하여:

• 노트북 / 엣지 (edge) / 특이한 하드웨어
• Mac 우선 워크플로우 (Mac-first workflows)
• 단일 RTX GPU
• 2-4개 이상의 NVIDIA / CUDA GPU
• 일반적인 프로덕션 서빙 (General production serving)
• 긴 문맥 (Long-context) / MoE (Mixture of Experts) / 라우팅 (routing)
• NVIDIA 최대 성능
• 클러스터 오케스트레이션 (Cluster orchestration)

소프트웨어

• llama.cpp
• MLX / MLX-LM
• ExLlamaV2
• ExLlamaV3
• vLLM
• SGLang
• TensorRT-LLM
• NVIDIA Dynamo

이것을 읽어보아야 하며, 지금 읽을 수 없다면 나중을 위해 반드시 북마크해 두어야 합니다.

오픈소스(Opensource) & 로컬 AI의 승리 (FTW)