MiniMax H3에서 비디오 레퍼런스와 lora만 사용하여 간단한 애니메이션-리얼리즘 테스트 결과

아래 게시물이 영감을 주어 MiniMax H3로 간단한 애니메이션-리얼리즘 테스트를 시도해 보았고, 그 결과를 몇 가지 공유하려고 합니다. 저는 키프레임이나 스틸 이미지를 생성하지 않았습니다. 단순히 원본 비디오를 MiniMax H3에 비디오 레퍼런스로 입력하고, lora를 적용한 다음, 기본적으로 이를 실사(live action)로 변환하도록 지시했습니다. 출력 품질은 솔직히 예상보다 좋았습니다. 완벽하거나 놀랍다고는 말할 수 없지만, 이렇게 간단한 설정임에도 불구하고 저는 상당히 인상 깊었습니다. 캐릭터 레퍼런스 시트를 사용하지 않았기 때문에 캐릭터 일관성(character consistency)은 당연히 보장되지 않습니다. 이는 주로 모델이 각 장면에서 캐릭터를 어떻게 해석하는지에 달려 있는 것 같습니다. 다음 테스트에서는 캐릭터 레퍼런스 시트도 추가하여 캐릭터가 장면 전반에 걸쳐 더 일관되게 유지되는지 확인해 볼까 생각 중입니다. 질문이 있으신 분은 기꺼이 답변드리겠습니다. 다른 출력 샘플은 댓글을 참고해주세요.

영감 받은 게시물: https://www.reddit.com/r/StableDiffusion/comments/1x1kvmg/recreated_omnitrix_calibration_scene_ben_10_mini/
사용된 LoRA: https://huggingface.co/LiseTY/Minimax-H3-ref2v_Anime_2_Realism
설정: 파라미터 값 사용
체크포인트 MiniMax_H3_Ref2VA_pruned_int8_convrot.safetensors
워크플로우 ComfyUI 공식 Minimax H3 Ref2V 워크플로우 + lora
LoRA Minimax_H3_Anime2Realsim.safetensors
LoRA 강도 1.0
단계(Steps) 20
샘플러 res_multistep
스케줄러 simple
디노이즈(Denoise) 1.0
비디오 시프트(Video shift) 12.0
오디오 시프트(Audio shift) 3.0
생성 중 해상도 1024 × 576
프레임 속도 24 fps
제출자 /u/aiyakisoba [링크] [댓글]