MulTaBench: 텍스트 및 이미지를 활용한 멀티모달 테이블 학습 벤치마킹

요약

본 기사는 기존 테이블 기반 파운데이션 모델이 겪는 한계점, 즉 비정형 모달리티(텍스트 및 이미지)에 대한 네이티브 지원 부족 문제를 지적합니다. 특히 기존 멀티모달 테이블 학습 벤치마크가 단순한 모달리티의 동시 발생에만 초점을 맞추어 태스크별 조정의 이점을 가리는 경향을 비판합니다. 이를 해결하기 위해, 공동 모델링과 타겟 인식 표현을 통합하는 새로운 아키텍처를 제안하며 멀티모달 테이블 파운데이션 모델 개발의 방향성을 제시합니다.

핵심 포인트

• 테이블 기반 파운데이션 모델은 구조화 데이터 학습에 강점을 보이지만, 텍스트/이미지 같은 비정형 모달리티 지원이 부족하다.
• 기존 멀티모달 테이블 벤치마크는 단순한 모달리티 동시 발생에 초점을 맞춰 태스크별 조정의 이점을 제대로 측정하지 못한다.
• 새로운 접근 방식은 공동 모델링(joint modeling)과 타겟 인식 표현(target-aware representations)을 통합하여 성능 향상을 목표로 한다.
• 이 연구는 멀티모달 테이블 파운데이션 모델 개발에 필요한 새로운 아키텍처의 기반을 마련한다.