Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Codex를 활용한 효율적인 영상 편집 도구인 video-use 오픈소스를 소개합니다. LLM이 영상을 직접 보는 대신 텍스트 타임스탬프로 압축하여 처리함으로써 토큰 비용을 획기적으로 절감하는 방식을 제안합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X @nftcps (자동 발견)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기요 며칠 동안 저는 한 가지를 명확히 이해하고 싶었습니다. Codex를 사용하여 영상을 편집하는 것이 정말 믿을만한가 하는 점인데, 최근 이 기술이 너무나 뜨겁습니다.
한참을 뒤진 끝에 browser-use 팀이 방금 오픈소스로 공개한 video-use를 찾아냈습니다. 무료이며, 현재 이미 15k star를 기록하고 있습니다. 직접 한 바퀴 돌려보니, 정말로 Token (토큰)을 아껴줍니다.
이 방식의 아이디어는 매우 영리합니다. 대형 언어 모델 (LLM)이 화면을 계속 주시하게 만드는 대신, 먼저 ElevenLabs Scribe를 사용하여 영상을 12KB의 타임스탬프 (timestamp) 텍스트로 압축한 뒤, 마치 문서를 수정하듯이 텍스트 레이어에서 편집합니다. 몇 가지 디테일이 정말 놀라웠습니다:
1️⃣ 각 컷마다 자동으로 30ms 오디오 페이드 아웃 (audio fade-out)을 적용하여, 툭툭 끊기는 클릭 노이즈 (click noise)가 즉시 사라집니다.
2️⃣ 특수 효과가 필요하면 Manim이나 Remotion을 실행하는 하위 작업 (sub-task)을 할당합니다.
3️⃣ 렌더링 (rendering) 완료 후 스스로 품질 검사 (QA)를 수행하며, 결함이 있으면 반려하여 다시 시도합니다. 최대 3회까지 재시도합니다.
전통적인 AI 영상 편집은 수천만 개의 Token (토큰)을 쉽게 태워버리지만, 이 방식은 텍스트 골격을 사용하여 이를 절약합니다. Codex로 영상 편집을 하고 싶은 분들이라면 놓치지 마세요.