Lance: 다중 작업 시너지(Multi-Task Synergy)를 통한 통합 멀티모달 모델링

요약

Lance는 이미지와 비디오에 대해 이해, 생성, 편집을 동시에 지원하는 경량 네이티브 통합 멀티모달 모델입니다. 모델 크기를 키우는 대신 다중 작업 학습과 이중 스트림 MoE 아키텍처를 통해 이해와 생성 능력을 조화롭게 통합했습니다. 실험 결과, 기존 오픈 소스 모델 대비 뛰어난 시각적 생성 성능과 강력한 멀티모달 이해 능력을 입증했습니다.

핵심 포인트

• 통합 컨텍스트 모델링과 분리된 능력 경로(Decoupled Capability Pathways) 원칙 적용
• 이중 스트림 Mixture-of-Experts(MoE) 아키텍처를 통한 이해와 생성 경로 분리
• 양식 인식 회전 위치 인코딩(Modality-aware Rotary Positional Encoding) 도입으로 시각적 토큰 간 간섭 완화
• 능력 지향적 목적 함수와 적응형 데이터 스케줄링을 활용한 단계별 다중 작업 학습
• 이미지 및 비디오 생성 분야에서 기존 오픈 소스 통합 모델을 능가하는 성능