TabEmbed: 표 데이터 이해를 위한 일반적 임베딩 벤치마킹 및 학습

Foundation models 는 자연어 처리 (NLP) 에 통합된 표현을 확립했지만, 이 패러다임은 표 데이터 (tabular data) 에는 거의 탐구되지 않았습니다. 기존 방법들은 근본적인 한계를 가지고 있습니다: LLM 기반 접근법은 검색 호환성 있는 벡터 출력을 갖지 않으며, 텍스트 임베딩 모델은 종종 표의 구조와 수치적 의미 (numerical semantics) 를 포착하지 못합니다. 이 격차를 해소하기 위해, 우리는 먼저 Tabular Embedding Benchmark (TabBench) 를 소개합니다. 이는 임베딩 모델의 표 이해 능력을 평가하기 위한 종합적인 도구입니다. 우리는 또한 TabEmbed 을 제안합니다. 이는 표 분류와 검색을 하나의 공유 임베딩 공간 내에서 통합하는 첫 번째 일반적 임베딩 모델입니다. 다양한 표 작업을 의미론 매칭 문제로 재구성함으로써, TabEmbed 은 대규모 대비 학습 (contrastive learning) 과 긍정 인식 하드 네거티브 마인닝 (positive-aware hard negative mining) 을 활용하여 세밀한 구조적 및 수치적 뉘앙스를 구별합니다. TabBench 의 실험 결과는 TabEmbed 이 최첨단 텍스트 임베딩 모델을 크게 상회함을 보여주며, 보편적 표 표현 학습의 새로운 기준선 (baseline) 을 확립합니다. 코드와 데이터셋은 https://github.com/qiangminjie27/TabEmbed 과 https://huggingface.co/datasets/qiangminjie27/TabBench 에서 공개적으로 이용 가능합니다.