Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.
Krea2 모델이 Chroma 데이터셋으로 파인튜닝된 Kroma 0.3.1 버전의 풀 터보 OPD(On-Policy Distillation) 모델이 출시되었습니다. 이 모델은 기존 오프라인 방식의 한계를 극복하고, 학생이 생성한 실제 궤적에 맞춰 교사가 수정하는 방식으로 학습하여 안정적인 Turbo 속도를 구현했습니다.
Minimax H3와 Seedance 2.0 두 애니메이션 모델을 사용하여 단일 프롬프트 기반의 커플 댄스 장면 애니메이션 결과를 비교 분석했습니다. Minimax H3는 일관성이 높았으나 카메라 움직임 구현이 어려웠고, Seedance 2.0은 높은 품질과 다양한 각도/카메라 움직임을 보여주었지만 크레딧 소모와 캐릭터 변화가 있었습니다.
본 기사는 Bytedance가 Minimax-h3 모델을 위해 '4단계(4-step)'라는 새로운 기술을 공개했습니다. 이 방법은 적대적 증류(Adversarial Distillation)를 활용하여 분포 매칭(Distribution Matching)을 수행하는 것이 핵심입니다.
사용자가 H3 비디오 생성 기술을 잠재 공간(latent space)에서 확장하거나 연결하는 커스텀 노드를 테스트한 결과를 공유했습니다. 기존과 새로운 잠재 공간을 하나의 디코드 패스로 처리하여 이음매 없이 연속적인 비디오 확장이 가능함을 보여줍니다.
본 글은 오디오 전체에 걸쳐 비디오 콘텐츠를 생성하는 개념 증명(PoC)을 소개합니다. 라텐트 공간의 문제를 해결하기 위해, 배경이 정적이고 주제가 고정된 경우 10~15초 간격으로만 새로운 라텐트를 생성하여 복잡한 '라텐트 문제'를 우회했습니다. 이후 FL2V와 같은 기술로 이음매(seams) 부분의 비디오 섹션을 결합하고 리샘플링하여 자연스러운 결과물을 만들었습니다.
본 기사는 궤도형 LoRA(LoRA for Orbit)를 활용하여 MiniMax 모델의 첫 프레임과 마지막 프레임을 기반으로 환상적인 결과물을 얻는 방법을 소개합니다. 이 기술은 카메라가 연속적인 360도 궤도를 그리면서 장면 전체의 모든 요소(사람, 사물 등)를 정확하게 고정하고 시차 효과만을 움직임의 원천으로 사용합니다.
Anima-Lightning은 특정 4단계 추론(inference)을 위해 파인튜닝된 모델입니다. 이 모델의 목표는 이미지 품질과 프롬프트 준수도를 유지하면서 Anima를 훨씬 빠르게 만드는 것입니다. Hugging Face에서 공개되었으며, 사용자들의 피드백과 기본 Anima 모델과의 비교가 기대됩니다.
본 기사는 Qwen Image 2.1의 출력물을 개선한 두 가지 모델, 'Qwen Image 2.1 Fix v2.0'과 'Qwen Image 2.1 Fix Opinionated v1.0'을 소개합니다. 이 모델들은 원본과 유사하면서도 노이즈가 적고 디테일이 깨끗한 고품질 이미지를 생성할 수 있도록 수정되었습니다.
본 기사는 RefMod 유사성 기능이 H3 비디오 생성 모델의 전반적인 품질을 저하시키는 문제를 심층적으로 분석합니다. 개발자들이 주장하는 번짐 현상 해결책이 실제로는 레퍼런스 이미지를 개별 프레임처럼 처리하고 거칠게 샘플링하는 투박한 접근 방식임을 밝히고, 이로 인해 비디오가 과도하게 샤프닝되고 플라스틱 피부처럼 보이는 품질 저하가 발생함을 지적합니다.
본 기사는 정적인 배경과 움직임이 적은 영상에 특화된 새로운 비디오 생성 워크플로우를 소개합니다. 이 방식은 각 클립을 독립적으로 생성하고, 연결 부위에서만 페이드아웃 및 노이즈 처리를 통해 일관성을 유지하는 것이 특징입니다. 따라서 카메라가 움직이는 역동적인 장면보다는 정지된 샷(Static shots)에 최적화되어 있습니다.
작성자는 Minimax H3 모델을 활용하여 애니메이션 제작에 도전했으며, 초기에는 3D 느낌이 강해 어려움을 겪었습니다. 이후 YouTube 채널의 노하우를 참고하고 ChatGPT와 협업하여 프롬프트 구조를 개선하며 원하는 결과물을 얻는 데 성공했습니다. ComfyUI 환경에서 특정 워크플로우와 체크포인트를 조합하여 시도한 경험을 공유합니다.
Fizgig 7 버전이 출시되어 Anima와 SDXL을 지원하며, LoRA 및 파인튜닝 기능을 대폭 강화했습니다. 모든 모델에 대한 전체 파인튜닝 기능과 다양한 워크벤치를 제공하여 사용자 편의성을 높였습니다. 특히 큰 GPU 메모리 사용 시 모델 처리 속도가 크게 향상되는 것이 특징입니다.
OpenSenseNova에서 Looped Diffusion Transformer (Looped-DiT) 모델을 공개했습니다. 이 모델은 루프형 트랜스포머 기반의 이미징 모델로, Hugging Face를 통해 다운로드할 수 있습니다.
본 기사는 비디오 성능 전이(performance transfer)를 활용하여 캐릭터의 연기력과 감정 표현을 향상시키는 방법을 제시합니다. 특히, 기존 영상 레퍼런스 없이 오직 음성 톤과 주체 정의만으로 원하는 장면을 구현하는 프롬프트 구조에 초점을 맞추고 있습니다. 이는 캐릭터 기반 콘텐츠 제작자들에게 유용하며, AI가 실제 배우의 연기력 수준에 도달하기까지는 아직 거리가 있음을 시사합니다.
FastH3 V2와 V3의 프로젝트 현황을 공유하며, FastH3 V2가 공개된 이후 뛰어난 품질과 모션 일관성을 인정받았습니다. 최근에는 다양한 소비자 GPU를 위한 공식 양자화 가중치와 8GB VRAM용 Trim 모델이 출시되었습니다. 향후 초점은 참조 기반 비디오/오디오 지원을 목표로 하는 Omni Ref, 즉 FastH3 V3 개발에 맞춰져 있습니다.
EU가 AI Act와 Digital Services Act에 따라 동의 없는 누디파이 콘텐츠 생성 도구 사용을 금지합니다. 이 규제는 앱 스토어, 호스팅 제공업체 등 모든 서비스 제공업체에도 적용되며, 위반 시 글로벌 매출액의 7% 또는 3,500만 유로 중 높은 금액의 벌금이 부과될 수 있습니다.
Refmod라는 새로운 방식을 소개하며, 이 방식이 기존의 LORA나 여러 레퍼런스 이미지를 사용하는 것보다 효율적임을 강조합니다. Refmod는 참조 이미지/비디오 스캔 과정 없이 생성 시간을 단축시키고, 원하는 효과를 몇 초 만에 재현할 수 있어 높은 활용도를 보여줍니다.
Fizgig 6.7.0 버전에서 Qwen Image 2.1 모델을 위한 슬라이더 LoRA 학습 기능을 지원합니다. 이 새로운 추상화된 드라이버 시스템은 Qwen 외에도 Krea 2, Klein, Minimax 등 여러 모델에 순차적으로 적용될 예정입니다.
개선된 H3 RefMods를 통해 이미지 생성 시 정확도를 높이고 아이덴티티 블리딩 문제를 개선했습니다. 특히, latents 데이터를 JPEG 형태로 패킹하여 VAE 없이 텍스트 인코더에 직접 공급함으로써 속도 향상과 캐싱을 구현했습니다. 또한, 프레임 샘플링 전략(stack_pictures)을 조정하여 컨디셔닝의 디테일을 높일 수 있습니다.
MageTrail V0.3 업데이트는 Danbooru/E621 데이터셋을 활용하여 MageFlow 2.8B 모델을 파인튜닝한 결과를 공유합니다. 이 모델은 전체 보어(booru) 개념과 태그 기반 프롬프팅 기능을 학습하는 데 성공했으며, 제한된 데이터셋만으로도 높은 잠재력을 입증했습니다. 또한, Flux2VAE와 같은 최신 아키텍처를 적용하여 모델의 디테일 및 텍스처 렌더링 능력을 향상시킬 계획을 밝혔습니다.