본문으로 건너뛰기
r/LocalLLaMA분석2026. 11. 17. 17:36
Clover 2: 27.8B 기반 모델 + 토큰당 라우팅되는 7개의 LoRA 전문가 사용 (정적 병합 아님), 가중치 공개 대표 이미지

Clover 2: 27.8B 기반 모델 + 토큰당 라우팅되는 7개의 LoRA 전문가 사용 (정적 병합 아님), 가중치 공개

원문 발행 2026. 11. 17. 13:35원문 언어 영어AI 한국어 번역r/LocalLLaMA 원문 보기

요약

Clover 2는 27.8B 기반 모델에 역할극, 수학 등 7개의 LoRA 전문가 어댑터를 결합한 새로운 아키텍처를 공개했습니다. 이 모델은 추론 시 학습된 라우터가 토큰마다 적절한 전문가를 실시간으로 선택하는 방식을 채택하여, 단순 병합이 아닌 전문성을 부여합니다. 그 결과 GSM8K 등에서 성능 향상과 AI 작성 습관 감소 효과를 보였습니다.

핵심 포인트

  • 27.8B 기본 모델에 7개 LoRA 전문가 어댑터를 사용하며 가중치를 공개함.
  • 토큰별 라우팅을 통해 전문 지식을 실시간으로 적용하는 하이브리드 아키텍처임.
  • GSM8K, LongBench-v2 등에서 성능 향상 및 창의적 글쓰기 습관 감소가 확인됨.
  • 현재 vLLM 환경에서만 지원되며 GGUF 포맷은 아직 미지원 상태임.

AI 자동 생성 콘텐츠

본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
0

댓글

0