kyegomez/LIMoE
요약
언어와 이미지를 결합한 최초의 대규모 멀티모달 전문가 혼합(Mixture of Experts) 모델인 LIMoE의 구현체입니다. 멀티모달 대조 학습을 통해 효율적인 모델 구조를 제안합니다.
핵심 포인트
- 최초의 대규모 멀티모달 MoE 모델 구현
- 언어와 이미지 데이터를 결합한 대조 학습 방식
- pip install을 통한 간편한 라이브러리 설치 지원
논문 "Multimodal Contrastive Learning with LIMoE: the Language-Image Mixture of Experts"에서 소개된 "최초의 대규모 멀티모달 전문가 혼합 (Multimodal Mixture of Experts) 모델"의 구현체입니다. 논문 링크를 보려면 여기를 클릭하세요:
pip install limoe
import torch
from limoe.main import LiMoE
# Text tokens (batch, sequence length)
...
MIT
@misc{mustafa2022multimodal,
title={Multimodal Contrastive Learning with LIMoE: the Language-Image Mixture of Experts},
author={Basil Mustafa and Carlos Riquelme and Joan Puigcerver and Rodolphe Jenatton and Neil Houlsby},
...
AI 자동 생성 콘텐츠
본 콘텐츠는 GitHub AI Tools의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0