zai-org/SCAIL-2 · Hugging Face

SCAIL-2: 종단간 인컨텍스트 컨디셔닝 (End-to-end In-Context Conditioning)을 통한 제어 가능한 캐릭터 애니메이션의 통합

SCAIL-2는 종단간 제어 가능한 캐릭터 애니메이션 (end-to-end controlled character animation)을 위한 오픈 소스 모델입니다. 이 모델은 드라이빙 비디오 (driving video)를 사용하여 참조 캐릭터를 애니메이션화하며, 중간 포즈 표현 (intermediate pose representations)에 의존하지 않고도 캐릭터 교체 및 다중 캐릭터 시나리오를 지원합니다.

개요
캐릭터 애니메이션에 대한 기존 방식들은 스켈레톤 맵 (skeleton maps)이나 인페인팅 마스크 (inpainting masks)와 같은 중간 표현 (intermediate representations)에 크게 의존합니다. 이러한 중간 단계들은 복잡한 움직임 하에서 모호하며, 드라이빙 소스 (driving sources)를 인간의 움직임으로 제한하고, 교체 및 다중 캐릭터 애니메이션의 범위를 제한합니다.

SCAIL-2는 이러한 의존성을 제거하고 종단간 드라이빙 (End-to-end Driving)을 달성합니다. 여러 기성 모델 (SCAIL-Preview, Wan-Animate, MoCha)을 사용하여 60K개의 모션 쌍 (motion pairs)을 합성하였으며, 전용 마스킹 채널 (masking channels)과 RoPE 설계가 적용된 통합 모션 전송 인터페이스 (Unified Motion Transfer Interface)를 통해 학습되었습니다. 통합을 통한 역방향 드라이빙 학습 레시피 (reverse driving training recipe)는 모델이 스승 모델 (teacher models) 이상의 능력을 학습하게 하여 다음과 같은 창발적 능력 (emergent abilities)을 생성합니다:

• 교차 정체성 캐릭터 교체 (Cross-identity character replacement)
• 동물 드라이빙 시나리오 (Animal-driving scenarios)
• SAM3D-Body 메쉬 렌더링 (mesh rendering)과 같은 고급 제어 중간 단계에 대한 제로샷 (Zero-shot) 지원