r/LocalLLaMA 여러분, 안녕하세요! Unsloth가 이제 로컬 추론 (inference), 미세 조정 (fine-tuning), 강화학습 (reinforcement learning) 및 배포 (deployment)를 위해 AMD 하드웨어를 공식적으로 지원합니다! 꽤 오랫동안 준비해 온 작업이었으며, AMD GPU가 장착된 Windows, Linux & WSL 장치(및 기술적으로 Mac 포함)에서 작동합니다! Unsloth Studio는 완전한 오픈 소스이며 무료이며, 다음을 지원합니다:

• Radeon RX 9000 및 7000 시리즈
• Instinct MI350 및 MI300 GPU
• Strix Halo / Ryzen AI Max 시스템
• GPU 없는 추론을 위한 AMD CPU

VRAM을 최대 70% 적게 사용하여 모델을 학습할 수 있고, VRAM을 최대 80% 적게 사용하여 강화학습 (RL)을 실행할 수 있으며, 최적화된 ROCm, Triton, bitsandbytes, PyTorch 및 llama.cpp 빌드를 모두 자동으로 설치하여 사용할 수 있습니다.

Linux, WSL, macOS: curl -fsSL https://unsloth.ai/install.sh | sh
Windows PowerShell: irm https://unsloth.ai/install.ps1 | iex

Unsloth는 Qwen, Gemma, DeepSeek, GLM, Kimi, MiniMax, DiffusionGemma를 포함한 거의 모든 모델에 대한 추론 및 학습을 지원합니다. 또한 다음과 같은 작업이 가능합니다:

• 모델을 GGUF, safetensors 또는 LoRA 어댑터로 내보내기
• 로컬 모델을 Claude Code, Codex, Hermes Agent, OpenClaw, Pi, OpenCode에 연결
• 학습 중 RAM 및 VRAM 사용량 추적 - 원격 및 로컬에서 가능
• 보안 Cloudflare HTTPS 터널링을 통해