컴퓨터가 만든 1980년대 시트콤 'Dorm Daze'
요약
이 글은 로컬 환경에서 완전 자동화된 파이프라인을 사용하여 1980년대 스타일의 시트콤 'Dorm Daze'를 제작한 과정을 설명합니다. 이미지 생성, 비디오 생성, 스크립팅, 편집 등 모든 작업이 LLM과 여러 커스텀 도구를 활용하여 자동으로 이루어졌습니다.
핵심 포인트
- 로컬 환경에서 완전 자동화된 미디어 파이프라인 구축 가능
- LLM(Orion)을 핵심으로 사용한 다단계 콘텐츠 생성 과정 제시
- 4090 GPU와 다양한 오픈소스 툴킷 조합 활용
- 음성 API 및 커스텀 'Bantam Factory'를 통한 자동화 구현
저속 단계/고속으로 비디오를 위한 완전 자동화된 파이프라인을 만지다가 이 8분 반짜리 예제를 얻었습니다. 이것은 터보 LoRA로 3단계에서 생성된 프리비즈 스타일(저품질 비디오)입니다. 여기에 사용된 모든 것은 로컬 환경에서 이루어졌습니다 (이미지 생성, 비디오 생성, 장면/스크립트 작성/카메라 작업/편집을 위한 LLM 작업). 저는 프롬프트만 주고 자리를 떠났습니다. 제 4090으로 이것을 완성하는 데 몇 시간이 걸렸습니다. 전체 스택은 26ba4b와 그 mmproj를 LLM (orion) https://huggingface.co/TheDrummer/Orion-26B-A4B-v1에 사용했으며, comfyui/minimax h3로 이미지 및 비디오의 vram/ddr4에서 교체되었습니다. 저는 먼저 음성 API를 사용하여 오디오를 생성했습니다: https://github.com/Deveraux-Parker/minimax-h3-voice-api 그리고 그 후에 제 닭 공장이 나머지 자동화를 처리합니다 (실제 카메라 작업/검토/편집을 위해 Bantam Factory를 수정했습니다) https://github.com/BANTAM-ADMIN/bantam-factory 첫 시도치고는 꽤 재미있게 나왔습니다. 물론 카메라 작업에 몇 가지 문제가 있지만, 그들에게 너무 엄격하지 않아도 됩니다; 그들은 단지 닭들일 뿐이니까요 ;).
제출자: /u/teachersecret [링크] [댓글]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/StableDiffusion의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기