MulTaBench: 텍스트 및 이미지를 활용한 멀티모달 테이블 학습 벤치마킹

테이블 기반 파운데이션 모델(Foundation Models)은 최근 사전 학습(pretraining)을 활용하여 수치형 및 범주형 구조화 데이터의 일반화 가능한 표현을 학습함으로써 지도 학습(supervised learning) 분야에서 최신 기술 수준(state of the art)을 확립했습니다. 하지만 이 모델들은 텍스트나 이미지와 같은 비정형 모달리티에 대한 네이티브 지원이 부족하며, 이를 처리하기 위해 고정된 사전 학습 임베딩(frozen, pretrained embeddings)에 의존합니다. 기존의 멀티모달 테이블 학습 벤치마크에서 우리는 임베딩을 태스크에 맞게 조정하는 것(tuning the embeddings to the task)이 성능을 향상시킨다는 것을 보여줍니다. 하지만 기존 벤치마크들은 종종 모달리티들의 단순한 동시 발생(mere co-occurrence of modalities)에 초점을 맞추는 경향이 있으며, 이는 데이터셋 전반에 걸쳐 높은 분산(high variance)을 야기하고 태스크별 조정의 이점(benefits of task-specific tuning)을 가립니다. 이러한 격차를 해소하기 위해, 우리는

이는 공동 모델링(joint modeling)과 타겟 인식 표현(target-aware representations)을 통합하는 새로운 아키텍처의 연구를 가능하게 하여, 새로운 멀티모달 테이블 파운데이션 모델(Multimodal Tabular Foundation Models) 개발의 길을 열어줍니다.