Cohere North Mini Code 출시 안내

안녕하세요, 여러분! Cohere의 Jay입니다. 이번 주말에 미출시 버전에 대해 여러분으로부터 좋은 피드백을 받은 후, 저희가 공식적으로 North Mini Code를 출시하게 되었습니다. 이곳에 와서 여러분이 질문하신 내용 중 일부에 답변하고 모델 자체에 대한 추가 세부 정보를 제공하고자 합니다. 가중치는 Hugging Face에서 (fp8은 여기) 다운로드할 수 있으며, OpenCode에서 무료로 사용해 볼 수 있습니다. 비디오에서 언급한 내용을 더 읽고 싶으시면, HuggingFace의 기술 블로그 게시물과 공지 게시물을 참고해 주세요! vllm으로 배포하는 경우, 새로운 릴리스가 나올 때까지 North Mini Code에 대해 vLLM main을 사용해 주시고, 정확한 응답 파싱을 위해서는 Cohere의 melody 라이브러리 설치도 필요합니다. uv pip install "git+https://github.com/vllm-project/vllm.git" uv pip install cohere_melody>=0.9.0 그런 다음 vllm 서버는 다음 명령어로 시작할 수 있습니다: vllm serve CohereLabs/North-Mini-Code-1.0 \ -tp 2 \ --max-model-len 320000 \ --tool-call-parser cohere_command4 \ --reasoning-parser cohere_command4 \ --enable-auto-tool-choice 여러분의 피드백을 바탕으로 작동을 더 잘하게 만들기 위해 몇 가지 PR이 푸시되었습니다. 유용한 정보: 수정: GGUF https://huggingface.co/unsloth/North-Mini-Code-1.0-GGUF 수정: MLX 지원: https://x.com/Prince_Canuma/status/2064437722689962242 /u/ germangrower69 님이 여기서 서드파티 MLX 버전을 언급했습니다. 양자화와 llama.cpp에 대한 의견은 듣고 있으며 내부적으로 이를 문제 삼고 있습니다. 질문이나 피드백이 있으시면 주저하지 마세요. 저희는 여러분의 빌드와 겪으시는 모든 문제를 보고 싶습니다. 그래야 미래에 개발자를 위해 더 나은 모델을 만들 수 있기 때문입니다. 무엇을 생각하시는지 듣게 되어 정말 기대됩니다! 도움을 주신 모든 분들께 다시 한번 감사드립니다. /u/jayalammar가 r/LocalLLaMA에 제출함 [링크] [댓글]