ByteDance가 Fable 5 논란 속에서 눈에 띄지 않게 발표한 결과물이 있습니다. 바로 Runway Gen-4나 Pika 2.0과 같은 폐쇄형(closed) 도구들과 경쟁할 수 있는 오픈 소스 비디오 생성 파운데이션 모델(foundation model)인 Seaweed-7B입니다. 가장 좋은 점은 무엇일까요? 이 모델은 오픈 웨이트 (open-weight) 방식이며, 개발자들이 오늘 바로 실제로 사용할 수 있는 기능들로 가득 차 있다는 것입니다.

Seaweed-7B란 무엇인가?

Seaweed (Seed-Video의 약자)는 ByteDance의 연구 팀이 처음부터(from scratch) 학습시킨 약 70억 개의 파라미터(parameter)를 가진 디퓨전 트랜스포머(diffusion transformer) 모델입니다. 겸손한 크기에도 불구하고, 이 모델은 텍스트-투-비디오 (text-to-video), 이미지-투-비디오 (image-to-video), 그리고 심지어 오디오-투-비디오 (audio-to-video) 생성 분야에서 최첨단(state-of-the-art) 결과를 달성합니다.

이 모델이 처리하는 작업은 다음과 같습니다:

• 🎬 텍스트-투-비디오 (Text-to-video) — 움직임, 카메라 움직임, 장면 전환이 포함된 복잡한 프롬프트 처리
• 🖼️ 이미지-투-비디오 (Image-to-video) — 정지된 이미지를 일관된 비디오 클립으로 애니메이션화
• 🎵 오디오 동기화 비디오 (Audio-synced video) — 립싱크(lipsync) 및 사운드에 맞춰 정렬된 시각적 생성
• 📽️ 멀티샷 스토리텔링 (Multi-shot storytelling) — 단일 설명을 통해 다중 장면 내러티브 비디오 생성

오픈 소스의 이점

Midjourney Video나 Runway와 달리, Seaweed-7B의 웨이트(weights)는 공개적으로 사용 가능합니다. 연구 팀은 ArXiv에 자신들의 **비용 효율적인 학습 전략 (cost-efficient training strategy)**을 보여주는 상세한 기술 보고서를 게시했습니다. 그들은 폐쇄형 연구소들이 지출하는 비용의 아주 일부분만으로 이 모델을 학습시켰습니다.

"Seaweed-7B는 오픈 소스 비디오 생성이 메가와트(megawatt)급의 컴퓨팅 예산을 필요로 하지 않는다는 것을 보여줍니다."라고 연구 팀은 기술합니다. "잘 설계된 학습 파이프라인(training pipeline)은 7B 파라미터로도 경쟁력 있는 결과를 달성할 수 있습니다."

이 모델은 소비자용 GPU(양자화(quantization)를 적용한 RTX 4090)에서 실행되므로, 인디 개발자들에게 가장 접근하기 쉬운 고품질 비디오 생성기가 될 것입니다.

이것이 중요한 이유

1. 비디오 AI의 민주화 — 이제 소규모 팀도 특정 사용 사례에 맞춰 비디오 모델을 미세 조정(fine-tune)할 수 있습니다.
2. 오픈 소스에서의 오디오-비디오 동기화 — 이는 이전에는 HeyGen과 같은 독점 API에서만 가능했던 기능이었습니다.
3. 연구 투명성 — 전체 학습 전략이 문서화되어 있어 재현성(reproducibility)을 보장합니다.

Seaweed.video에서 모델을 확인하거나 ArXiv 논문을 자세히 살펴보세요. ByteDance는 오픈 소스 비디오 생성 (video generation) 시대가 본격적으로 도래했음을 증명했으며, 7B 모델만으로도 충분하다는 것을 보여주었습니다.

Seaweed-7B에 대해 어떻게 생각하시나요? 이미 비디오 모델 (video models)을 로컬에서 실행하고 계신가요? 댓글로 알려주세요!