저는 AI 비디오를 공유하거나 무언가를 홍보하는 것이 아닙니다. 이 모든 것은 제가 직접 발견한 내용이며, 다양한 비디오 업스케일링 모델을 비교한 것입니다. 그래서 많은 브랜드 이름이 언급됩니다. 저는 다른 사람들이 다양한 비디오 업스케일링 방법을 사용하면서 겪은 경험에 진심으로 관심이 있으며, 제 게시물의 일부가 누군가에게 유용하기를 바랍니다.
한 달 전 Seedance 2.5로 AI 비디오 제작을 시작했고(이전 이미지/비디오 AI 경험은 많지 않았습니다), 곧바로 4K 해상도로 만들고 싶었습니다. 그래서 제가 찾을 수 있는 가장 관련성 높은 옵션들, 즉 로컬(직접 실행 방식), 유료 로컬(Topaz, 저는 RTX 5090을 보유하고 있습니다), 그리고 클라우드 방식을 모두 거쳐보았습니다. 총 11가지 모델과 그 변형 및 다양한 설정에서 테스트를 진행했습니다. 전체 연구는 저에게 2일이 걸렸고 약 100달러가 들었습니다. 이것이 제가 발견한 내용입니다.
읽기 전에 한 가지 참고할 점: 저는 오직 특정 유형의 비디오(애니메이션 캐릭터를 그들의 세계관 속에서 사실적으로 해석한 영상)만을 기준으로 평가했습니다. 저에게는 나쁘게 보이는 것이 여러분에게는 정확히 원하는 것일 수도 있습니다 (어떤 사람들은 Topaz의 Starlight v2.6/Astra가 사실적인 생성물/실제 비디오에 훌륭하다고 말할 수 있지만, 저는 제 사용 사례에는 좋지 않다고 느꼈습니다).
로컬(무료)
여기서 기대는 높지 않았지만, 그래도 시도해보고 싶었습니다. 이미지 업스케일링의 경우, 로컬에서 실행되는 인기 있는 타일 기반 Qwen 2.1 워크플로우 중 하나가 제가 시도했던 모든 클라우드 및 Topaz 모델보다 뛰어났기 때문에, 적어도 괜찮은 1080p를 구현할 수 있을지 궁금했습니다.
-
Wan 2.2 업스케일 워크플로우 (ComfyUI): 그다지 인상적이지 않았습니다. 원본과 비교했을 때 업스케일링된 것처럼 보이지 않았습니다. 주로 피부 점 같은 다른 것들만 생성할 뿐, 머리카락 등은 그대로였습니다. 또한 매우 무겁습니다. 480p에서 1080p로 변환하는 8초 클립에 43분이 걸렸으며, 이는 공유 GPU 메모리 오버플로우를 고려하지 않은 시간입니다. 폐기: 성능 대비 너무 느리고, 제 VRAM으로는 어차피 4K까지 도달할 수 없습니다.
-
H3 비디오 업스케일러 (ComfyUI): 보통 480p에서 1080p로 변환하는 데 2~3분이 걸립니다.
심한 번짐(smearing)과 시간적 문제(temporal issues)가 있어 SeedVR2와 비슷하거나 더 나쁩니다. LoRA 유무와 관계없이 최신 버전을 사용해보고, 디노이즈 레벨을 0까지 낮춰보았습니다. 폐기함: 번짐 현상이 심하고, Wan처럼 제 VRAM으로는 4K에 도달할 수 없었습니다. SeedVR2는 480p에서 1080p로 약 6분이 걸렸습니다. 결과가 형편없고, 이미지용 SeedVR2와 같습니다. 폐기함: 그냥 나쁩니다. (이것 때문에 누군가의 기분을 상하게 했다면 죄송합니다. 하하. 제 종류의 이미지와 비디오에서는 주관적으로 항상 최악으로 보였습니다.) RTX Video Super Resolution (ComfyUI의 NVIDIA 노드) 유튜브 영상에서 사용되는 NVIDIA 앱의 “RTX Video Enhancement” 토글이 마음에 들어서 한번 시도해봤습니다. 매우 빠릅니다: 모델 로딩 시간을 포함하여 1080p에서 4K로 37초가 걸렸습니다. 하지만 원본과 결과물을 픽셀 단위로 비교해보니, 업스케일링이 전혀 일어나지 않은 것처럼 동일하게 보였습니다. 압축된 스트림을 정리하는 데 적합한 것 같으며, 깨끗한 Seedance 영상에는 수정할 부분이 없습니다. 폐기함: 디테일을 추가하지 못합니다.
LOCAL PAID (TOPAZ) 전통적인 의미의 선명도가 제가 원하는 바가 아니었기 때문에 Starlight Sharp는 건너뛰었습니다. 렌더링 시간은 480p에서 2K 기준이며, 1080p에서 4K도 비슷했습니다. Starlight Mini는 약 15분이 걸렸습니다. 이것이 가장 보수적인 방식입니다. 여전히 업스케일링을 하고 보기 좋은 선명도를 더해주지만, Flux보다는 적고 흐릿한 배경은 그대로 유지합니다. 이상하게도 2.6보다 시간이 더 오래 걸립니다. 문제는 다음과 같습니다: 로컬에서 전체 프레임에 가로줄이 생기는데, 그 높이의 약 1/10 정도입니다. 이 선 아래쪽 이미지는 마치 해당 부분이 업스케일링되지 않은 것처럼 더 흐릿해 보입니다. 어떤 내보내기 형식을 사용하든 모든 렌더에서 발생합니다. 같은 클립을 Mini로 fal에 돌렸을 때는 줄이 없으므로, 모델 문제가 아니라 앱 문제입니다. 이것은 Topaz 포럼에서 2025년 11월부터 알려진 버그이며, 저에게는 여전히 1.7.1 버전에서 나타납니다. 그리고 아닙니다, VRAM 문제는 아닙니다. 5090에서는 공유 메모리로 아무것도 새어 나오지 않습니다. 제가 생각할 수 있는 유일한 해결책은 두 번째로 뒤집힌 복사본을 렌더링하여 하단 스트립 부분을 합성(compositing)하는 것인데, 이는 너무 번거롭습니다. 이 모델이 마지막 두 가지 테스트에 사용되었습니다 (아래 참조).
Starlight Precise 2.6
약 11.5분 분량입니다. 머리카락과 액세서리는 Flux만큼 보기 좋지만, 피부는 다소 과하게 부풀려져(overblown) 있어 누가 봐도 좋다고 말하기 어렵습니다. 다른 장면(1080p에서 4K로)에서는 최소 선명도인 1에서도 흐릿한 배경을 매우 못생기게 망가뜨렸고, 선명도를 높일수록 상황은 더 나빴습니다. 이름에 “Precise”가 들어가 있지만, 과하게 밀어붙이는 경향이 있습니다. 폐기: 이미 깨끗한 영상 소스에는 단순히 샤프닝(oversharpening)을 과도하게 적용합니다.
CLOUD ByteDance 비디오 업스케일링
저는 이 도구를 5번 동안 다양한 설정으로 테스트했습니다. 일반 및 AIGC 프리셋, 표준 및 프로 향상, 고화질 및 중화질 등입니다. Seedance 2.5가 얼마나 좋은지, 그리고 같은 회사 제품이며 제가 Seedance 2.5의 입력 소스를 사용했음에도 불구하고, 이 비디오 업스케일링 결과물은 매번 좋지 않았습니다. 첫 번째 시도에서는 몸통, 머리, 머리카락 주변에 검은 윤곽선이 생겼고, 그 외에는 Mini만큼 부드러웠습니다. 이후 시도들에서는 색상 번짐(color fringing), 과도한 샤프닝, 색상 이동 현상이 발생했으며 심지어 의상에 새로운 디테일을 만들어내기도 했습니다. 중화질(Medium fidelity)이 가장 덜 나빴습니다. 폐기: 변화가 너무 크고 어떤 설정으로도 이를 고칠 수 없었습니다.
Flux 3 비디오 업스케일링 (Replicate 및 Higgsfield)
최고입니다. 피부 질감이 가장 깨끗하며, 과하게 부풀려지거나 샤프닝되지 않았지만 제가 원했던 선명도는 여전히 추가해줍니다. 머리카락과 액세서리는 Starlight 2.6만큼 선명하고 흐릿한 배경을 망가뜨리지 않습니다. 원본 영상과 나란히 놓고 보아도 색상이 거의 동일하게 보입니다. 저는 Creative보다 Precise를 더 선호했는데, Creative는 재질에 약간 더 사실적인 질감을 추가하는 것처럼 보였기 때문입니다. 최종적으로 두 가지 버전을 만들었습니다.
Topaz Astra 2
첫 테스트 후에는 Starlight 2.6만큼 과처리된 피부가 많이 생성하지 않았고 흐릿한 배경을 더 잘 유지한다고 생각했습니다. 그러다가 다른 장면을 테스트하고 나서 제가 너무 좋게 평가했다는 것을 깨달았습니다. 2.6과 같은 이상한 샤프닝 문제가 있습니다. 블러(blur)를 조금은 덜 망가뜨리지만, 여전히 지나치게 과도하게 샤프닝합니다. 또한 SDR에서 HDR로 변환하는 옵션은 색상을 완전히 바래게 만들었고, 원본의 분위기와는 거리가 멀며 비용도 훨씬 많이 듭니다. 폐기: 2.6과 동일한 샤프닝 문제가 있습니다.
Starlight HQ (fal)는 Mini와 2.6 사이의 절충안입니다. Mini보다 약간 더 나은 선명도를 제공하지만, Astra 2 및 2.6과 마찬가지로 보기 싫은 샤프닝을 감수해야 합니다. 제외한 부분: 샤프닝 기능.
Magnific 비디오 업스케일러는 크리에이티브 모드(Creative mode)부터 시작했습니다. 창의성(creativity) 레벨을 0, 다음으로 50, 그리고 애니메이션 & 3D, 아티스틱, 리얼리스틱 프리셋 순서로 테스트했습니다. 모든 결과물이 과도하게 샤프닝되고, 채도가 높으며, 애니메이션처럼 보였고, 프리셋들은 저에게는 기본적으로 똑같아 보였습니다. 돌이켜보면 이는 '창의적' 모델에서 기대할 수 있는 어느 정도의 결과입니다. 일부는 Starlight 2.6과 매우 유사해 보여서, 혹시 Topaz의 가중치(weights)를 기반으로 구축된 것은 아닌지 궁금증을 지울 수가 없지만, 이는 순전히 제 추측일 뿐입니다.
프리시전 모드(Precision mode)는 저를 놀라게 했습니다. 강도(strength) 60과 100의 미리보기에서는 좋은 결과를 보여주었습니다. Mini보다 더 나은 선명도와 디테일을 제공하면서도, 질감을 과도하게 샤프닝하거나 흐릿한 배경을 깨뜨리지 않았습니다. 100에서 샤프닝(Sharpen)을 적용했을 때는 좋지 않았고, 100에서의 스마트 그레인(smart grain)은 예상대로 극심한 필름 그레인을 추가했습니다. 강도 80으로 전체 5초 분량을 렌더링하는 것만으로도 너무 많았고 흐릿한 배경을 과도하게 샤프닝하기 시작했기 때문에, 저는 50~60이 최적의 지점(sweet spot)이라고 추측합니다. 하지만 전체 클립에서는 진짜 문제가 드러났습니다. 빠르게 움직이는 물체에 보이는 번짐(smear)과 광택 있는 바닥 및 반사광은 Mini나 Flux를 사용했을 때만큼 좋지 않았습니다. 제외한 부분: 짧은 미리보기에는 나타나지 않는 모션의 번짐 현상.
결론적으로, 두 가지로 좁혀졌습니다. Flux 3 (Precise)가 단연코 가장 보기 좋습니다. 깨끗한 피부 표현, 실제적인 선명도, 그리고 흐릿하게 처리된 배경이 흐릿함을 유지합니다. 단점은 클라우드 전용이며 클립당 비용을 지불해야 한다는 것입니다. 1080p에서 4K로 변환하는 5초짜리 클립 하나는 Fal에서 약 $3가 들었고, Higgsfield에서는 33 크레딧(일반 충전으로 크레딧을 구매할 경우 약 $1.55–2.06이며, 연간 플랜이 더 저렴함)이 들었습니다.
Starlight Mini는 보수적입니다. Flux보다 선명도는 약간 떨어지지만, 절대 무언가를 망치지 않습니다. 로컬 환경에서는 Topaz Video 구독($59/월)을 통해 무제한으로 사용할 수 있지만, 그곳에 라인 버그(line bug)가 있습니다. fal에서는 깨끗하며 5초 클립당 약 $1.30입니다.
현재는 Flux 비디오 업스케일링이 가장 마음에 드는데, 버그 없이 Topaz의 mini를 로컬에서 사용할 수 있다면 좋겠습니다... 이런 종류의 푸티지(footage)에 대부분의 옵션들이 얼마나 형편없었는지 놀랐습니다. 비디오 업스케일링은 여전히 초기 단계인 것 같습니다 (in its infancy). 저는 제안이나 다른 사람들의 경험에 매우 열려 있습니다. 제가 놓친 정말 좋은 비디오 업스케일러가 있나요? 누가 로컬에서 Mini 라인을 성공적으로 사용해 보셨나요? 그리고 제가 폐기한 옵션들 중 좋은 설정을 찾으신 분이 있다면 듣고 싶습니다. submitted by /u/lopas99 [link] [comments]