ByteDance는 이미지 생성, 편집, 스타일 전이(Style Transfer) 및 이해를 위한 7B 멀티모달 모델인 BAGEL을 Apache 2.0 라이선스로 오픈 소스화했습니다.

ByteDance는 7B 파라미터(Parameter) 멀티모달 모델인 BAGEL을 Apache 2.0 라이선스로 오픈 소스화했습니다. 이 모델은 단일 아키텍처 내에서 이미지 생성, 편집, 스타일 전이 및 시각적 이해(Visual Understanding)를 처리합니다.

주요 사실

• 7B 파라미터 모델, Apache 2.0 라이선스.
• 생성, 편집, 스타일 전이, 이해 처리.
• ByteDance가 벤치마크 점수나 학습 데이터를 공개하지 않음.
• PaLI-X (55B) 또는 GPT-4V보다 작으며, 온디바이스(On-device) 배포를 목표로 함.

ByteDance는 생성, 편집, 스타일 전이, 시각적 이해라는 네 가지 이미지 중심 작업을 단일 Apache 2.0 라이선스 하에 통합한 7B 파라미터 멀티모달 모델 BAGEL을 출시했습니다 [@kimmonismus에 따르면]. 별도의 모델들을 체인(Chain) 형태로 연결하는 일반적인 방식(예: 확산 생성기(Diffusion Generator)와 시각-언어 모델(Vision-Language Model)의 결합)과 달리, BAGEL은 단 한 번의 순전파(Forward Pass) 과정에서 네 가지 모달리티를 모두 처리하여 특화된 도구 간 전환 시 발생하는 지연 시간(Latency)과 복잡성을 제거합니다.

내부 구조 (What’s under the hood)

소스 코드상에서 모델의 정확한 아키텍처 세부 사항은 드물게 나타나지만, 7B 파라미터 규모는 Meta의 Llama 3 8B 및 Google의 Gemma 7B와 동일한 연산 클래스에 속합니다. 통합된 멀티모달 능력은 Meta의 CM3Leon이나 Google의 PaLI-X와 같은 최근의 통합 시각 모델 연구와 유사하게, 작업별 헤드(Head) 또는 어댑터(Adaptor)를 갖춘 공동 시각-언어 백본(Vision-Language Backbone)을 시사하지만, BAGEL은 훨씬 더 작습니다 (7B 대 PaLI-X의 55B). ByteDance는 학습 데이터 크기, 연산 예산(Compute Budget) 또는 벤치마크 점수를 공개하지 않았습니다 [소스 제한 사항].

이것이 보도 자료가 시사하는 것보다 더 중요한 이유

여기서 독특한 관점은 BAGEL이 작고 통합된 멀티모달 모델 (multimodal models)이 현재의 베스트 프랙티스인 대규모 전문 모델들을 조합하는 방식을 대체할 수 있다는 도박을 하고 있다는 점입니다. 오늘날 대부분의 프로덕션 시스템(예: Adobe Firefly, Midjourney, GPT-4V)은 생성과 이해를 위해 별도의 모델을 사용하거나, 거대하고 비용이 많이 드는 통합 모델에 의존합니다. BAGEL의 7B 규모와 Apache 2.0 라이선스는 온디바이스 배포 (on-device deployment) 및 미세 조정 (fine-tuning)을 용이하게 하여, 스타트업과 연구자들이 클라우드 GPU 클러스터 없이도 멀티모달 애플리케이션을 구축할 수 있도록 진입 장벽을 낮춰줄 잠재력이 있습니다.

경쟁 환경

ByteDance는 Alibaba의 Qwen-VL 시리즈와 Baidu의 ERNIE-ViLG의 뒤를 이어 오픈 소스 모델을 출시하는 중국 기술 기업들의 증가하는 명단에 합류했습니다. Apache 2.0 라이선스는 Meta의 Llama 3 커스텀 라이선스나 OpenAI의 폐쇄형 모델보다 눈에 띄게 허용 범위가 넓어, 로열티 없이 상업적 이용과 재배포가 가능합니다. 이는 오픈 소스 AI 커뮤니티의 채택을 가속화할 수 있지만, Meta의 Llama 전략에서 볼 수 있듯이 ByteDance의 동기에는 생태계 락인 (ecosystem lock-in) 및 인재 유치도 포함되어 있을 수 있습니다.

주목해야 할 점

CMU Researchers Release Pangea-7B: A Fully Open Multimodal Large ...

향후 몇 주 동안 HellaSwag, MMLU 및 이미지 생성 품질(예: FID 점수)에 대한 독립적인 벤치마크 평가를 주목하십시오. 만약 BAGEL이 개별 작업에서 전문 모델과 대등하거나 그에 근접하는 성능을 보여준다면, 오픈 소스 멀티모달 지형은 조합형 시스템(composed systems)에서 통합된 소형 모델로 이동할 수 있습니다.

원문 게시처: gentic.news