MLLM을 통한 의미론적 계획과 DiT를 통한 렌더링으로 비디오 생성 및 편집을 하나의 프레임워크로 통합하여 상용 폐쇄형 모델과 경쟁하는

MLLM (Multimodal Large Language Model)을 의미론적 계획 (Semantic Planning)에 사용하고 DiT (Diffusion Transformer)를 렌더링에 사용하여, 비디오 생성과 편집을 단일 프레임워크로 통합함으로써 상용 폐쇄형 모델 (Closed-source models)과 경쟁할 수 있는 비디오 편집 효과를 제공합니다.
https://
gitub.com/bytedance/Bern
ini

…
Bernini는 ByteDance가 오픈 소스로 공개한 비디오 생성 및 편집 프레임워크로, 의미론적 계획 (Semantic planning)을 위해 멀티모달 대규모 모델 (Multimodal large models)을 사용하고 렌더링을 위해 확산 트랜스포머 (Diffusion Transformers)를 사용합니다. 이 프레임워크는 텍스트-비디오 (Text-to-video), 이미지-비디오 (Image-to-video), 비디오 편집 (Video editing), 참조 이미지 가이드 편집 (Reference image-guided editing) 등을 지원합니다. 비디오 편집 측면에서, 인간 블라인드 테스트 (Human blind evaluations) 결과 폐쇄형 상용 모델과 동일한 수준의 성능을 보여줍니다.

홈 하드웨어를 "연결된 장치를 수동적으로 실행하는 단계"에서 "인지, 의사결정 및 학습 능력을 갖춘 에이전트 (Agents)"로 업그레이드하고, 로컬 에이전트 운영체제 (Agent OS)를 통해 이들을 오케스트레이션하십시오.
https://
gitub.com/Fullive-AI/Ani
ma

…
Anima는 스마트 하드웨어를 위한 오픈 소스 에이전트 운영체제 (Agent OS)로, 로컬에서 실행됩니다.