개발자가 AI 영화를 만들면 생기는 일

Video: 개발자가 AI 영화를 만들면 생기는 일
Channel: 노마드 코더 Nomad Coders
Duration: 11m 25s
Source: subtitle (auto, ko)
Transcript:
코딩보다 더 재밌는 걸 찾은 것 같아요 . 저는 AI를 활용한 단편 영화를 만들었는데, 제작 과정도 너무 즐거웠고 결과물도 정말 좋았어요. 살짝 엿보세요. 나머지는 나중에 보여드릴게요. 그녀는 몽골인이라고 말했다. 그 단어는 누구나 다 알잖아요 . 그게 올해 일인 줄 몰랐어요. 우리는 떠납니다. 와, 정말 많네요. 저 영상은 몽골 침략 당시 한국으로 시간 여행을 갔다가 포로로 잡힌 영국인 시간 여행자의 브이로그입니다. 이 아이디어는 '클로이 대 역사'라는 채널에서 얻었어요 . 이건 전부 인공지능이 생성한 거예요. 한 소녀가 매 회마다 다른 세기에 깨어나 그 과정을 브이로그로 기록하는데, 이 영상이 수백만 조회수를 기록하고 있다. 이것으로 간략한 요약입니다. 반면에 이런 점도 있습니다. 이것은 쿨리 힐 소년들이 만든 장편 영화로, 1시간 30분 분량이며 모든 장면이 음악으로 가득 차 있습니다. 액션 영화에 나올 법한 멋진 방아쇠도 있습니다. 나는 그것이 인공지능인지 알아차리지 못했다. 굉장히 전문적으로 보이네요. AI 비디오는 더 이상 느린 기계가 아닙니다.

짧은 형식도, 긴 형식도 모두 가능하며, 둘 다 훌륭하게 처리할 수 있습니다. 저는 약 1년 동안 AI 영상 제작을 접해본 적이 없어서, ' 클로이 대 역사' 같은 영상을 혼자서 만들어볼 수 있을지 궁금했습니다. 그런데 AI 영상 제작은 정말 놀라운 경험이었습니다. 저는 할리우드가 심각한 위기에 처했다고 진심으로 생각합니다 . 등장인물들의 얼굴이 장면마다 똑같아서 일관성이 없습니다. 장소도 일정하고, 의상도 일정하다. 조명, 카메라 움직임, 음성, 음향 효과, 배경 음악까지 모두 이 프로그램이 담당합니다. 립싱크까지 완벽하게 해냅니다. 하지만 제가 배운 한 가지는, 단순히 유도한다고 해서 되는 게 아니라는 겁니다. 나름의 과정이 있는데, 저는 수많은 시행 착오를 거쳐 마침내 좋은 결과를 얻을 때까지 그 과정을 익혔습니다. 영화 제작이나 사진 촬영 경험이 있다면 매우 익숙하게 느껴질 과정입니다. 그리고 바로 그러한 과정을 위해 만들어진 Higgsfield라는 플랫폼이 있습니다. 카메라 와 렌즈, 등장인물, 장소, 소품, 참고 자료 등 모든 것이 갖춰져 있습니다.

단순한 모형이 아니라, 스튜디오 전체가 구현되어 있는 것입니다. 먼저 출연진, 의상, 세트를 구성하고 나서 음악을 입히고 촬영합니다. 오늘은 제가 단편 영화를 어떻게 만들었는지 보여드리겠습니다. 여러분도 직접 만들어 보실 수 있을 거예요. 그리고 마지막에는 클라우드 코드로 이 모든 것을 관리하는 방법을 보여드리겠습니다. [음악] 이렇게 하면 여러분만의 영화 제작소를 만들 수 있습니다. 자 , 그럼 시작하죠. 히그스필드에는 엄청나게 많은 물건들이 있어요. 이미지 모델, 비디오 모델, 오디오, 광고, 효과 등 모든 것이 담긴 시장입니다. 우리는 그 대부분을 무시할 겁니다. 우리에게 필요한 모든 것이 한 곳에 있습니다. 바로 시네마 스튜디오죠. 그리고 이것이 바로 촬영용 폼입니다. 그리고 단어 하나 입력하기 전에 설정할 수 있는 것들을 살펴보세요. 장르, 시대, 편집 속도, 카메라 본체, 렌즈, 조리개, [음악], 카메라 움직임, 색감, 조명 설정. 기본적으로 감독용 의자입니다 . 먼저 프로젝트를 생성합니다 . 프로젝트란 출연진, 세트, ​​소품, 그리고 모든 장면이 함께 어우러지는 작업입니다.

우리는 영상이 아니라 캐릭터부터 시작합니다. 출연진이 확정되기 전까지는 아무것도 촬영되지 않습니다. 먼저, 우리가 들어갈 길을 정하죠. [음악] 아서. 여러분은 하나의 이미지로 시작하게 될 것입니다 . 얼굴 클로즈업 사진 한 장, 그 외에는 아무것도 없습니다. 저는 이미지 제작 전문 업체인 픽셀 시네마에 갑니다. 그곳은 영화 스틸컷을 위한 힉스필드 모델이고 , 사람 다루는 데 아주 능숙합니다 . 프롬프트, 카메라 모드( 모던), 렌즈 모드(깨끗하고 선명함)를 붙여넣고 생성 버튼을 클릭합니다. 그리고 이분이 바로 그분입니다. 그의 이름은 아서이고, 20대 후반의 어리숙한 영국 블로거로, 소년 같은 외모에 친절하고, 과묵하지만 눈썹은 표현력이 풍부하다. 이제 이 이미지는 잠금 처리되었습니다. 앞으로 나올 아서의 모든 사진은, 마지막까지, 이 얼굴과 대조될 것이다. 다음은 의상입니다. 이번에는 모델을 시드 드림으로 바꿨습니다. 의상 프롬프트를 붙여넣고, 크기를 16x9로 설정한 다음 생성합니다. 이것은 옷장 시트인데, 앞면과 뒷면이 있고, 평평하고 밝은 회색 배경입니다.

얼굴은 중요하지 않고, 옷차림이 중요하다. 그런 다음 파일을 다운로드하고 얼굴을 제거합니다. 다음 단계에서는 이 이미지에서 옷 부분만 추출할 수 있기 때문입니다. 그 얼굴은 클로즈업 장면에서 나온 것이지, 다른 곳에서 가져온 것이 아닙니다. 자, 이제 우리는 그를 조립했습니다 . 같은 모델인 Seed Dream이지만, 이번에는 참조 대상이 두 명입니다. 첫 번째 참고 자료는 얼굴이고, 두 번째 참고 자료는 옷차림입니다. 그리고 힉스필드에 대해 아주 좋은 점이 하나 있습니다. 업로드하는 모든 이미지에는 태그가 지정됩니다. 따라서 프롬프트 안에서 해당 항목들을 가리킬 수 있습니다. 첫 번째 이미지를 추가하고, 두 번째 이미지를 추가하세요. 그리고 프롬프트는 모델에게 각 항목에서 무엇을 가져와야 하는지 정확하게 알려줍니다 . 첫 번째 이미지에서 얼굴만 가져오세요. 다른 것은 아무것도 가져오지 마세요. 조명도 아니고, 배경도 아닙니다. 두 번째 이미지에 있는 옷만 입으세요. 다른 건 아무것도 입지 마세요. 얼굴도 아니고, 자세도 아니야.

한 이미지에 동일한 남자의 미리보기 이미지를 생성합니다 . 왼쪽은 클로즈업 사진 , 가운데는 정면 3/4 모습, 오른쪽은 뒷모습 전체 모습입니다. 그렇다면 우리는 왜 이것을 원하는 걸까요? 앞으로 아서의 모든 장면은 이 사진 한 장을 바탕으로 만들어질 것이기 때문입니다. 왼쪽 클로즈업 사진은 모델이 자신의 신분증을 들고 있을 수 있을 만큼 충분히 큽니다. 그리고 두 가지 신체 시점 이미지는 옷이 앞면과 뒷면 등 어떤 각도에서 보더라도 어떻게 보이는지 알려줍니다. 이 사람은 아서입니다 . 이제 그를 출연진으로 계속 출연시킬 수 있도록 도와야 할 때입니다 . 시네마 스튜디오에는 ' 요소'라는 섹션이 있습니다. 즉, 등장 인물, 장소, 소품을 말합니다. 새 카테고리 추가를 클릭하고, 캐릭터, 이름에 ' 아서'를 입력합니다. 사이즈표를 넣고 그 사람이 누구인지, 무엇을 입는지에 대한 설명을 한 단락 정도 적어 넣습니다. 이 설명은 중요합니다. 제가 아서에 대해 언급할 때마다 모델은 매번 그 내용을 읽습니다. 그러니까, 만약 그가 밀짚모자를 쓴다고 적혀 있다면, 그는 침대에서도, 벽에 걸려 있을 때도, 심지어 붙잡힐 때에도 밀짚모자를 쓰고 있을 겁니다.

모든 장면에 보여주고 싶은 내용만 적으세요. 구하다 . 이제 아서가 하나의 요소가 되었으니, 앞으로 어떤 프롬프트에서든 그를 언급하기만 하면 모델이 그의 이미지와 설명을 함께 보여줄 수 있게 되었습니다. 나는 그를 다시 업로드할 필요가 없어 . 나는 다시는 그를 묘사할 필요가 없을 거야 . 그는 변수이고, 앞으로의 모든 샷은 그를 필요로 할 겁니다. 이제 나는 여관 주인과 몽골 기수에게도 똑같은 일을 한다. 클로즈업, 의상, 세 개의 [코웃음] 패널. 몽골족도 마찬가지다. 그리고 저는 그 둘 다 요소로 저장합니다 . 저분들이 출연진입니다. 자, 이제 장소들을 알려드리겠습니다. 그리고 장소에 대한 규칙은 간단합니다. 사람이 없어야 합니다. 우리는 방, 벽, 풍경 모두 비어있기를 원합니다. 영화에서 이것은 ' 플레이트'라고 불리는데, 사건이 일어나기 전의 배경 그 자체를 말합니다. 이를 위해 저는 모델을 단일 위치 모델, 즉 장소에 대한 힉스장 모델로 전환합니다 . 프롬프트 [음악]을 붙여넣고 생성합니다. 여기가 그의 방인데, 바닥에는 종이가 빛나고 있고, 말아 놓은 매트가 있고, 탁자 위에는 그릇이 하나 있지만, 아무도 없다.

그런 다음, 벽과 그 아래의 비행기, 그리고 그의 창문에서 보이는 풍경에 대해서도 같은 작업을 합니다. 그리고 저는 그것들을 모두 요소로 저장합니다 . 장르, 장소, 출연진 및 세트. 완료. 자, 이제 이미지에서 비디오로 전환해 볼까요? 이 모델은 C dance이고, 해상도는 9x16, 해상도는 420p이며, 오디오는 켜져 있습니다. C dance는 음성도 생성하기 때문입니다. 그리고 [음악] 8 초. 자, 길이에 대한 간단한 조언입니다 . 시간이 너무 짧으면 영상이 기대에 미치지 못할 것입니다. 모델은 몇 초 안에 사용자가 요청한 모든 것을 반영하려고 시도할 것입니다. [음악] 그래서, 중간중간 장면이 건너뛰어지거나, 등장인물들이 순간이동을 하거나, 날아다니게 됩니다. 그러니 등장 인물들이 해야 할 일을 할 수 있도록 충분한 시간을 주세요. 첫 번째 프롬프트를 붙여넣었는데, 내용이 엄청 길어요. 솔직히 말해서, 저는 이런 아이디어를 떠올릴 만큼 똑똑하지 않아요. 인공지능에게 뭘 물어봐야 할지도 모르겠어요 .

그래서, 난 그걸 훔쳤어. 킥스빌은 자체 제작 영화의 제작 노트를 공개합니다. Trigger에는 전체 프로젝트 개요, 파이프라인, 규칙, 사용하는 프롬프트 및 자산이 포함되어 있습니다. 그래서 저는 그들의 프롬프트 구조를 가져와서 제 나름대로 만들었습니다. 자, 그럼 자세히 분석해 봅시다. 바로 여기서 승패가 결정될 테니까요. 모든 비디오 프롬프트는 동일한 블록이 동일한 순서로 배열되어 있습니다. 장면의 맥락, [음악] 현재 상황을 한 문장으로 설명해 주세요. 아서는 자기 방 바닥에 앉아 별장의 문을 열고 있다. 참고 자료, 그리고 바로 여기서 요소들이 등장합니다. 아서와 방은 순위가 매겨져 있어서 모델은 얼굴이 배경보다 더 중요하다는 것을 알게 됩니다. 자물쇠, 절대 바뀌어서는 안 되는 것들. 그의 신체는 한 단락에 묘사되어 있고, 의상은 참고 문헌에 [음악]으로 언급되어 있습니다. 모두가 있는 곳에서 차단하기. 그는 방 한가운데에 앉아 있고, 오른쪽에는 문이, 왼쪽에는 테이블이 있으며, 오른팔은 화면 밖으로 나와 카메라를 들고 있다.

첫 번째 프레임, 즉 최초의 그림이 어떻게 생겼는지 보여주는 음악이 영상에 깔려 있습니다. 시간의 흐름을 초 단위로 보여줍니다. 0에서 1까지, 그는 렌즈를 바라본다. 1부터 6까지라고 그는 말합니다. 6시 에서 8시 사이에 그는 그린을 잡고 있다. 대화 내용, 정확히 그 단어들입니다. 연기 과제 인데, 이번 과제는 굉장히 강렬하네요. 당신은 그가 행복하다고 절대 쓰지 않아요. 당신은 그가 원하는 것과 그의 앞길을 방해하는 것을 적습니다. 그는 관객들이 그곳을 좋아하게 되기를 바랍니다. 문제는 그가 바닥에 쓰러져 있다는 것입니다. 그래서 그는 그것을 판다. 그게 바로 눈의 역할이죠. 그리고 금지된 것, 화면 안에 들어오는 휴대전화, 2 인칭 시점, 자막, 컷. 시간이 오래 걸리지만, 모델에 메모리가 없기 때문에 필요한 과정입니다. 각각의 프롬프트는 독립적인 섬과 같습니다. 그것은 마지막 장면이 어떻게 생겼는지 알지 못합니다 . 그래서 모든 것이 매번 반복됩니다. 모든 장면의 대사를 한 글자도 틀리지 않고 복사해서 붙여넣으세요.

단어 하나도 바꾸지 마세요, 특히 목소리 연기는 절대 바꾸지 마세요. 두 가지 상황에서 그의 목소리를 약간 다르게 묘사하면, 서로 다른 두 남자의 목소리를 듣게 됩니다. 끝났어요. 생성하다. 이것이 첫 번째 샷입니다. 아침입니다, 첫째 날. 여기는 800 년 전 한국, 1231년입니다. 방 안을 한번 살펴볼까요? 이걸 보는 순간, 모든 게 잘 될 거라고 직감했어요. 그 후에는 창의력을 발휘해서 더 많은 장면을 쓰고, 무엇이 효과적인지, 무엇이 효과적이지 않은지 확인하는 과정이 중요합니다. 하지만 제 조언을 하나 드리자면 , 480p로 생성하세요. 더 저렴하고, 배송도 빨라서 여러 가지를 시도해 볼 수 있어요. 마음에 드는 장면을 촬영했다면, Kick Feel의 업스케일링 기능을 이용해 480p 해상도를 2K, 심지어 4K까지 높일 수 있습니다. 아니면 제가 했던 것처럼 모든 파일을 저화질로 생성한 다음 , 전체 영상을 합쳐서 보고 문제가 있는 부분을 수정하는 방법도 있습니다. 그리고 모든 것이 원하는 대로 재생될 때만 즉시 업스케일링을 하세요.

[음악]에서 목소리 연기를 할 때, Kick Feel은 음성 변조기를 사용합니다. 그러니까 목소리가 마음에 안 들거나 매번 똑같은 소리가 나길 원한다면 모든 장면을 하나의 목소리로 다시 더빙할 수 있습니다. 같은 사진, 같은 입술, 같은 목소리. 자막이 필요하시면 음성 인식 도구와 더빙 도구도 이용하실 수 있습니다. 이 프로그램은 오디오를 번역하고 원하는 언어로 다시 음성 입힘 기능을 제공합니다 . 자, 이제 마지막 영상을 보여드리겠습니다. 바닥 자체가 난방 장치인데, 우리 아파트에 난방 시설이 생기기 800년 전부터 그랬어요 . 문에 종이가 붙어 있어 사생활 보호가 전혀 안 돼요. 빛이 정말 아름답네요. 이것 좀 봐. 비싸게 느껴져요. 800년 후에는 이것이 박물관에 전시될 것이다. 당연히 제가 소장할 거예요. 그리고 그곳은 수도인데, 인구가 50만 명이나 되고, 지금의 런던보다 더 커요. 런던, 죄송합니다. 와, 정말 많네요. [숨을 헐떡이며] 칭기즈칸은 4년 전에 사망했습니다. 그의 아들이 이 물건들을 보냈습니다.

이것은 첫 번째 침략입니다 . 여섯 명이 될 거예요. [비명 지르며] 좋아요, 잠깐만 살펴볼게요. 그래서 저는 몽골군에게 포로로 잡혔고, 숙소에 들어가 보지도 못했어요. 좋아요와 구독 부탁드립니다. 다음 영상에서 만나요. 그가 최고는 아니라는 걸 알지만, 그래도 이건 정말 자랑스러워요. 저는 그 결과물에 매우 만족하고, 제작 과정도 정말 즐거웠습니다. 더욱 좋았던 점은 제가 힉스 필드 UI를 전혀 사용하지 않았다는 것입니다. 클라우드 코드나 ChatGPT를 이용하면 이 모든 작업을 수행할 수 있습니다. hitsfield.ai/mcp에 접속하시면 모든 에이전트에 대한 버전이 있습니다 . ChatGPT용 플러그인으로, Cloud, Cursor, Cloud Code와 호환됩니다. 연결하는 방법은 두 가지가 있습니다. NCP 서버를 사용하거나 명령줄 인터페이스를 사용하는 것입니다. CLI를 설치하고 로그인한 다음 스킬을 설치하세요. [음악] 그리고 그런 음악들이 아주 많이 있어요. 마케팅, 사용자 생성 콘텐츠(UGC), 익명 콘텐츠, 모션 디자인, 웹사이트 구축.

설치가 완료되면 에이전트가 방금 보여드린 모든 작업을 수행할 수 있습니다. 프롬프트를 작성하고, 생성기를 실행하고, 결과가 나올 때까지 기다린 다음, 결과를 다운로드합니다. 클릭이나 드래그가 필요 없고, 프롬프트를 복사해서 붙여넣을 필요도 없습니다. [음악] 당신이 장면을 묘사하면 모델이 나머지를 해냅니다. 당신이 창의적인 사람이라면, 지금이 바로 당신의 순간입니다. 아이디어가 있다면, 이제 당신과 결승선 사이에는 아무것도 없습니다 . 음악이 시작되는 부분을 제외하고. 이 영상 제작을 후원해 주신 힉스 필드에 감사드립니다 . 아래 링크를 클릭하여 할인된 가격으로 가입하고 오늘 바로 시작하세요. 자, 이제 가서 멋진 걸 만들어 보세요. 그리고 댓글에 [음악] 아서의 또 다른 모험을 보고 싶은지 알려주세요. 안녕하세요, 감사합니다. 다음 영상에서 만나요. 안녕히 가세요