Cohere 모델에 대한 llama.cpp 지원

원문 발행 2026. 10. 20. 00:43원문 언어 영어AI 한국어 번역r/LocalLLaMA 원문 보기

요약

Cohere의 Nick이 llama.cpp 지원 업데이트를 발표했습니다. 이제 Cohere의 모든 최신 모델 아키텍처가 llama.cpp와 호환되어 사용 편의성이 크게 향상되었습니다. 또한, Cohere Transcribe 모델도 Unsloth 및 Unsloth Studio에서 파인튜닝할 수 있게 되었습니다.

핵심 포인트

Cohere의 모든 최신 모델이 llama.cpp를 지원하게 됨.
North Micro Vision Instruct 비전 인코더가 llama.cpp에 통합됨.
Cohere Transcribe 모델을 Unsloth/Unsloth Studio에서 파인튜닝 가능.

안녕하세요 여러분, Cohere의 Nick입니다. 오랜만이에요. 올해 초 여러분과 함께 Command A+를 출시하고 North Mini Code를 베타 테스트하며 즐거운 시간을 보냈습니다. 여러분의 피드백은 저희 모델과 제공 방식을 훨씬 더 좋게 만드는 데 큰 도움이 되었습니다. 가장 많이 들었던 것 중 하나는 여러분이 llama.cpp 지원을 정말 원한다는 것이었는데, 이 서브레딧의 성격을 생각하면 당연한 일입니다. 이 약속을 지킬 수 있을 때까지 다시 여기에 글을 올리고 싶지 않았고, 저희가 진전을 이루었다고 말씀드리게 되어 정말 기쁩니다. 저희 팀은 최근 North Micro Vision Instruct의 비전 인코더에 대한 llama.cpp 지원을 병합했습니다. 이는 이제 저희의 모든 최신 모델 아키텍처가 llama.cpp와 호환된다는 것을 의미합니다 (LLM은 North Mini Code 및 Command A+와 동일한 아키텍처이며, 이 부분은 여러분 같은 분들의 노력 덕분에 이미 지원되고 있습니다). North Micro Vision은 저희 신규 출시 제품 몇 가지의 기반으로 사용되고 있으며, 여러분이 원하시던 지원을 갖게 되었다고 말씀드리게 되어 정말 설렙니다. 자유롭게 사용해 보시고 의견을 알려주세요. 이것은 단지 한 단계일 뿐이며, 앞으로 더 많은 것이 있을 겁니다. 약간 비슷한 맥락에서, Cohere Transcribe가 이제 Unsloth와 Unsloth Studio에서 파인튜닝이 가능합니다. 이 모델은 정말 훌륭한 STT(Speech-to-Text) 모델 중 하나이니, r/unsloth의 분들을 좋아하신다면 한번 사용해 보세요. 모든 피드백에 다시 한번 감사드리며, Cohere가 무엇을 더 보여주기를 원하시는지 알려주세요. /u/nick_frosst 제출 [링크] [댓글]

AI 자동 생성 콘텐츠

원문 바로가기