Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
mistral.rs가 Gemma 4 12B 모델 지원을 추가하여 멀티모달, 에이전트 기능 및 MTP 통합을 제공합니다. 웹 검색과 샌드박스 코드 실행을 지원하며, OpenAI 및 Anthropic 호환 HTTP 서버를 통해 간편하게 구축할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/OpenAI Codex (search)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기mistral.rs는 Gemma 4 12B를 사용하여 강력한 에이전트(agentic) 앱을 구축할 수 있도록 웹 검색 및 안전한 샌드박스 코드 실행(sandboxed code execution) 기능을 제공합니다. 또한 완전한 멀티모달(multimodal) 지원이 포함되어 있어 오디오, 이미지, 비디오를 활용한 구축이 가능합니다. 설치 방법은 다음과 같이 한 단계로 완료됩니다:
curl --proto '=https' --tlsv1.2 -sSf https://raw.githubusercontent.com/EricLBuehler/mistral.rs/master/install.sh | sh
irm https://raw.githubusercontent.com/EricLBuehler/mistral.rs/master/install.ps1 | iex
그 다음, 아래 명령어를 실행하기만 하면 됩니다:
mistralrs run --agent -m google/gemma-4-12B-it --quant 4
이렇게 하면 localhost:1234/ui에서 내장된 UI 웹 채팅을 제공하며, OpenAI 및 Anthropic과 호환되는 HTTP 서버가 실행됩니다. 또한 MTP를 사용할 수도 있습니다:
mistralrs run --agent -m google/gemma-4-12B-it --quant 4 --mtp-model google/gemma-4-12B-it-assistant
더 자세한 내용은 GitHub를 확인하세요: https://github.com/EricLBuehler/mistral.rs
문서(Documentation): https://ericlbuehler.github.io/mistral.rs/
/u/EricBuehler님이 r/LocalLLaMA에 게시함 [link] [comments]