우리가 해결해야 했던 두 가지 MoE-VLM 학습 과제

요약

Zyphra는 MoE-VLM 학습 과정에서 발생하는 배치 크기 붕괴와 라우팅 불안정성 문제를 해결한 ZAYA1-VL-8B 모델을 공개했습니다. 시각 토큰 전용 LoRA 어댑터를 도입하여 새로운 전문가 학습 없이도 모델에 시각적 역량을 효율적으로 부여했습니다. 해당 모델은 Apache 2.0 라이선스로 공개되었습니다.

핵심 포인트

• MoE 라우팅 분산으로 인한 효과적인 배치 크기 붕괴 문제를 더 큰 배치 크기 사용으로 해결
• 언어에서 언어+시각 모델로 전환 시 발생하는 라우팅 불안정성 문제 식별
• 시각 토큰 전용 LoRA 어댑터를 통해 시각적 용량(visual capacity)을 효율적으로 추가
• ZAYA1-VL-8B 모델 및 가중치 Apache 2.0 라이선스로 공개