여러분들, 오픈소스 대형/소형 모델들이 여러 분야에서 꽃을 피우고 있습니다!

OpenMOSS가 오늘 실시간 비디오 스트림 상호작용에 중점을 둔 11B 멀티모달 모델인 MOSS-VL-Realtime을 공식적으로 오픈소스로 공개했습니다.

전통적인 '비디오를 먼저 다 보고 답변하는' 오프라인 모드와 달리, MOSS-VL-Realtime은 비디오가 지속적으로 입력되는 과정에서 인지(Perception)와 생성(Generation)을 동기화하여 수행할 수 있습니다.

이 모델은 새로운 프레임을 처리하는 동시에 답변을 생성하며, 장면 변화 시에는 자신의 답변을 능동적으로 수정하거나 중단할 수 있고, 정보가 부족할 때는 침묵을 유지할 수도 있어, 진정한 의미의 '보면서 대화하기' 실시간 상호작용 경험을 구현합니다.

모델의 주요 특징은 다음과 같습니다:

• 비전 인코딩과 언어 추론을 분리하는 Cross-Attention 아키텍처 채택
• XRoPE를 통한 통일된 시공간 위치 임베딩(Spatial-temporal position encoding) 구현
• 텍스트, 단일 이미지/다중 이미지, 단일 비디오/다중 비디오 및 이미지-텍스트 교차 입력(중국어-영어 이중 언어 지원)을 지원합니다.
• 256K 초장문 컨텍스트 창(Context Window)
• 오프라인, 스트리밍, 실시간 상호작용 모드를 동시에 지원하는 통일된 대화 템플릿

MOSS-VL-Realtime은 스트리밍 비디오 이해 벤치마크에서 오픈소스 모델 중 선두적인 위치에 도달했으며, 특히 능동적 경고(Proactive Alerting) 및 적시 응답 측면에서 뛰어난 성능을 보였습니다.

또한, 새로 공개된 MOSS-VL-0708 Instruct는 세밀한 인지, 시간 동작 위치 파악, 장비디오 이해 등의 작업에서 눈에 띄는 향상을 보여주었습니다.

모델은 모두 오픈소스로 공개되었으며(Apache-2.0 프로토콜), 로컬 배포와 실시간 추론을 지원합니다.

Hugging Face: https://t.co/y9tV0GtjuV
GitHub: https://t.co/rjlzVtu7SD
기술 블로그: https://t.co/rjlzVtu7SD (상세 설명 포함)

이는 현재 오픈소스 커뮤니티가 실시간 멀티모달 상호작용 방향으로 나아가는 중요한 진전이며, 지속적인 비디오 이해와 동적 대화가 필요한 시나리오에 특히 적합합니다.