mistral.rs는 Gemma 4 12B를 사용하여 강력한 에이전트(agentic) 앱을 구축할 수 있도록 웹 검색 및 안전한 샌드박스 코드 실행(sandboxed code execution) 기능을 제공합니다. 또한 완전한 멀티모달(multimodal) 지원이 포함되어 있어 오디오, 이미지, 비디오를 활용한 구축이 가능합니다. 설치 방법은 다음과 같이 한 단계로 완료됩니다:

Linux/Mac

curl --proto '=https' --tlsv1.2 -sSf https://raw.githubusercontent.com/EricLBuehler/mistral.rs/master/install.sh | sh

Windows

irm https://raw.githubusercontent.com/EricLBuehler/mistral.rs/master/install.ps1 | iex

그 다음, 아래 명령어를 실행하기만 하면 됩니다:
mistralrs run --agent -m google/gemma-4-12B-it --quant 4

이렇게 하면 localhost:1234/ui에서 내장된 UI 웹 채팅을 제공하며, OpenAI 및 Anthropic과 호환되는 HTTP 서버가 실행됩니다. 또한 MTP를 사용할 수도 있습니다:
mistralrs run --agent -m google/gemma-4-12B-it --quant 4 --mtp-model google/gemma-4-12B-it-assistant

더 자세한 내용은 GitHub를 확인하세요: https://github.com/EricLBuehler/mistral.rs
문서(Documentation): https://ericlbuehler.github.io/mistral.rs/

/u/EricBuehler님이 r/LocalLLaMA에 게시함 [link] [comments]