Clover 2: 27.8B 기반 모델 + 토큰당 라우팅되는 7개의 LoRA 전문가 사용 (정적 병합 아님), 가중치 공개
요약
Clover 2는 27.8B 기반 모델에 역할극, 수학 등 7개의 LoRA 전문가 어댑터를 결합한 새로운 아키텍처를 공개했습니다. 이 모델은 추론 시 학습된 라우터가 토큰마다 적절한 전문가를 실시간으로 선택하는 방식을 채택하여, 단순 병합이 아닌 전문성을 부여합니다. 그 결과 GSM8K 등에서 성능 향상과 AI 작성 습관 감소 효과를 보였습니다.
핵심 포인트
- 27.8B 기본 모델에 7개 LoRA 전문가 어댑터를 사용하며 가중치를 공개함.
- 토큰별 라우팅을 통해 전문 지식을 실시간으로 적용하는 하이브리드 아키텍처임.
- GSM8K, LongBench-v2 등에서 성능 향상 및 창의적 글쓰기 습관 감소가 확인됨.
- 현재 vLLM 환경에서만 지원되며 GGUF 포맷은 아직 미지원 상태임.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기