StreamTalk: 키 포즈 앵커링(Key-Pose Anchoring)을 이용한 스트리밍 Co-Speech 제스처 생성

요약

StreamTalk은 실시간 Co-Speech 제스처 생성 시 발생하는 드리프트 현상을 해결하기 위해 제안된 폐쇄 루프(closed-loop) 프레임워크입니다. 키 포즈 앵커링과 생성-검색-정제 사이클을 통해 긴 시퀀스에서도 안정적인 3D 모션을 생성합니다.

핵심 포인트

• 키 포즈 앵커링을 통해 스트리밍 모션의 드리프트 현상 억제
• 생성-검색-정제 사이클을 갖춘 폐쇄 루프 프레임워크 제안
• 확률적 앵커 마스킹을 통한 희소 경계 조건에서의 모션 복구 학습
• 파트 인식 DiT를 활용하여 전역 변위와 국부 관절 움직임 간섭 감소
• 76 FPS의 실시간 속도로 최첨단(SOTA) 성능 달성