【Day 20】 로컬 AI vs 클라우드 AI. 고양이 사진 한 장을 10종류의 동영상 AI로 움직여 보았다

서론

【Day 20】입니다!

사진을 한 장 건네면 몇 초의 동영상으로 만들어 주는 AI를 10종류 준비했습니다. 절반은 로컬 (Local), 절반은 클라우드입니다 🐱

사용한 것: DGX Spark (LTX-2.3 / Wan 2.2) / fal.ai를 경유한 클라우드 AI 8종류 / ComfyUI / ffmpeg

진행 내용

간단한 주제

이 사진 속 고양이가 카메라를 보고 한 번 울기. 입을 벌려 울고, 다시 다물기. 꼬리가 가볍게 흔들리고, 귀가 쫑긋 움직이기

어려운 주제

이 사진 속 고양이가 주방에서 뒷발로 서서, 작은 앞치마를 두르고, 앞발로 식칼을 들고, 도마 위에서 채소를 썰기. 뒤쪽 냄비에서는 김이 모락모락 나기

결과는... 꼭 영상을 확인해 주세요!

다리가 긴 고양이가 나오는 등 여러 가지 일이 있었지만,, 음..

전반부가 '간단한 주제', 후반부가 '어려운 주제'입니다.

간단한 주제는 로컬과 클라우드 모두 꽤 좋은 승부를 펼쳤습니다. 어려운 주제는... 클라우드인 것 같네요...!

이하, 3가지 관점에서 랭킹을 매겨보겠습니다.

랭킹 ① 시간

어려운 주제로, 한 편을 만드는 데 걸린 시간입니다.

19배의 차이.

주목할 점은 1위와 7위입니다. 같은 LTX-2.3이며 해상도도 거의 같습니다. 다른 점은 구동하는 장소뿐인데, 7.6배의 차이가 났습니다.

로컬 측 설정

DGX Spark (GB10, 유니파이드 메모리 128GB, 대역폭 약 273GB/s). ComfyUI를 헤드리스 (Headless)로 구동하며, API를 통해 워크플로우를 던지고 있습니다.

LTX-2.3은 distilled fp8 · 8스텝. 1088×1920 해상도에서 피크 메모리 77.8GB (128GB의 약 6할). **이곳이 한계치(Ceiling)**였습니다. 해상도를 512×768로 낮추면 70초 만에 끝나지만, 화소 수는 클라우드의 5분의 1이 됩니다.

Wan 2.2는 I2V-A14B fp8 · 20스텝 · 480×640. 해상도를 높이면 현실적인 시간 내에 끝나지 않습니다.

랭킹 ② 비용

11배의 차이.

로컬의 전기세는 측정하지 않았습니다. 수치는 밝히지 않겠습니다.

랭킹 ③ 지시 이행 여부

"앞치마를 두르고 이족 보행하며, 식칼로 채소를 썬다"를 어디까지 수행했는가.

◎ 전부 수행 (5종류 · 모두 클라우드)

Wan 2.7 / Happy Horse 1.1 / Veo 3.1 / Kling 3 Pro / Seedance 2.0

앞치마를 입고, 뒷발로 서서, 앞발로 식칼을 쥐고 채소를 썰고 있습니다. Veo와 Happy Horse는 냄비의 김까지 표현했습니다.

△ 중간까지 수행 (3종류)

✕ 아무 일도 일어나지 않음 (2종류)

오늘의 발견: 로컬 vs 클라우드

간단한 주제로는 차이가 없습니다. 사진을 몇 초간 움직이는 정도라면, 성능은 이미 충분합니다.

어려운 과제를 주면 차이가 나타납니다. 다만 "로컬이라서 안 된다"는 뜻은 아닙니다.

• 로컬의 3개 중,
  1개는 주방까지 도달 - 클라우드의 8개 중,
  1개는 13분을 들여 아무것도 하지 않음

적재적소네요.

보너스: 막혔던 부분

해상도를 선택하게 해주지 않는 AI가 있었다

HunyuanVideo 1.5 에 720p를 지정했더니 에러가 발생했습니다. 사양상 480p로 고정되어 있으며, 다른 값은 받아들이지 않습니다.

10종류나 나열하다 보니 "조건을 맞출 수 없는" 경우가 발생합니다. 맞추지 못한 상태로 실측하여 표에 주석을 달았습니다.

영상의 일본어가 '토푸(깨진 글자)'가 되었다

ffmpeg의 drawtext로 일본어를 입혔더니, 일부가 □로 표시되었습니다. "로컬", "초"는 나오는데 "표준"만 깨지는 식의 오류였습니다.

글자는 Pillow를 사용하여 이미지로 그린 뒤 겹치는 방식으로 변경하여 해결했습니다. 일본어라면 이 방식이 확실합니다.

다음 회차

【Day 21】은 제1막(Day 1~21)의 회고입니다.

읽어주셔서 감사합니다🐾

Discussion