MulTaBench: 텍스트와 이미지를 활용한 멀티모달 표 형식 학습 (Multimodal Tabular Learning) 벤치마킹

요약

텍스트와 이미지를 결합하여 표 형식 데이터를 학습하는 멀티모달 표 형식 학습(Multimodal Tabular Learning)을 위한 벤치마크인 MulTaBench를 소개합니다. 또한 물리 기반의 인간 비디오 생성을 위해 구조화된 3D 모션 보상을 사용하는 PhyMotion 논문을 함께 다룹니다.

핵심 포인트

• 텍스트와 이미지를 활용한 멀티모달 표 형식 학습 벤치마크인 MulTaBench 제시
• 물리 법칙을 준수하는 인간 비디오 생성을 위한 PhyMotion 연구 소개
• PhyMotion은 구조화된 3D 모션 보상을 통해 물리 기반 비디오 생성 성능을 향상함