저는 오픈 소스 로컬 추론 엔진이자 에이전트 런타임인 TensorSharp를 유지 관리하고 있습니다. 저는 로컬 비디오 생성, 편집 가능한 타임라인, 그리고 선택적 로컬 LLM 어시스턴트를 하나의 프로젝트로 가져오기 위해 Video Studio를 추가했습니다. 첨부된 데모는 macOS에서 TensorAgent로 실행됩니다.
실제 구동 기기: Apple M5 Pro 칩과 48GB 메모리를 갖춘 MacBook Pro입니다. 모델: LTX 2.5 Distilled를 로컬에 로드했습니다. 생성: 1024 × 1024의 이미지-투-비디오(Image-to-video)입니다. 출력: 오디오가 활성화된, 약 6.04초 길이의 24 fps로 145프레임입니다. 생성 시간: 13분 15초입니다. 녹화는 속도가 빨라졌습니다. 경과 시간은 Jobs 패널에서 확인할 수 있으며, 48GB라는 수치는 기기에 설치된 메모리 용량입니다.
저는 가져온 이미지로 시작하여 캐릭터에게 미소 지으라고 하고 입 쪽으로 손을 들어 올리도록 요청합니다. 클립이 생성되면, 이를 타임라인에 추가하고 원본 이미지를 5초짜리 엔딩으로 붙인 다음, 결과물인 11.04초 길이의 구성을 렌더링하고 재생합니다.
Video Studio가 추가하는 기능:
- 하나의 프로젝트에서 생성 및 편집을 수행할 수 있습니다. 생성된 테이크는 가져온 비디오, 이미지, 오디오와 함께 에셋 라이브러리에 보관됩니다.
- 여러 트랙에 걸쳐 배치하고, 클립을 자르고 분할하며, 볼륨과 페이드를 조정하고, 변경 사항을 되돌리며, FFmpeg을 통해 MP4로 렌더링할 수 있습니다. 프로젝트는 자동 저장됩니다.
- 다양한 로컬 비디오 모델을 사용할 수 있습니다. Studio는 LTX 2.5 Distilled, MiniMax-H3, 그리고 지원되는 Wan 2.1/2.2 체크포인트를 위한 TensorSharp의 네이티브 파이프라인에 연결됩니다. 첫 프레임/마지막 프레임 컨디셔닝(First/last-frame conditioning), 시간 지정 키프레임(timed keyframes), 및 참조 이미지 지원은 로드된 체크포인트에 따라 다릅니다.
- 클립의 마지막 프레임부터 계속할 수 있습니다. 이 프레임을 사용하여 다음 생성을 위한 컨디셔닝을 수행한 다음, 이전 것 다음에 새로운 테이크를 추가합니다. 이는 짧은 생성들로부터 더 긴 시퀀스를 조립하는 데 도움이 됩니다.
- 외모와 움직임은 여전히 세그먼트 간에 드리프트(drift)할 수 있으며, 생성된 오디오는 연결 지점에서 자동으로 계속되지 않습니다.
- 로컬 LLM에게 편집 도움을 요청할 수 있습니다. 이 녹화가 시연하는 것 외에도, 도구 기능을 갖춘 로컬 채팅 모델은 프로젝트를 검사하고, 타임라인 편집을 제안하며, 샷을 계획할 수 있습니다.
적용하기 전에 제안된 편집 사항을 검토할 수 있으며, 이는 되돌릴 수 있습니다. 현재 호스트는 활성 모델 슬롯이 하나 있으므로 텍스트 어시스턴트와 비디오 생성 간의 전환은 명시적입니다. 생성에는 TensorSharp의 네이티브 추론 엔진(inference engine)이 사용되며, 합성/내보내기(export)에는 로컬 FFmpeg을 사용합니다. 모델 가중치(model weights)와 미디어 도구(media tools)가 설치되어 있으면 클라우드 계정 없이도 이 워크플로우를 실행할 수 있습니다. 수동 편집 역시 모델이 로드되지 않은 상태에서도 작동합니다. GitHub: zhongkaifu/TensorSharp 설정 및 기능 상세 정보: Video Studio 가이드 만약 비디오를 로컬로 생성한다면, 어떤 것이 워크플로우에 가장 도움이 될까요: 낮은 메모리 요구 사항, 샷 간의 더 나은 연속성(continuity), 또는 대체 테이크(alternate takes)의 더 쉬운 관리와 편집인가요? /u/fuzhongkai 제출 [링크] [댓글]
