Eagle: Mixture of Encoders를 통한 멀티모달 LLM (Multimodal LLMs)의 디자인 공간 탐색

요약

Eagle은 Mixture of Encoders(MoE) 구조를 활용하여 멀티모달 LLM의 설계 공간을 탐색하는 연구입니다. 다양한 인코더 조합을 통해 멀티모달 성능을 최적화하는 방법을 제안합니다.

핵심 포인트

• Mixture of Encoders(MoE)를 통한 멀티모달 설계 최적화
• 멀티모달 LLM의 효율적인 디자인 공간 탐색 방법론 제시
• 다양한 인코더 조합을 통한 모델 성능 향상 연구