정형 데이터 파운데이션 모델 (Tabular Foundation Models)을 위한 데이터 사전 확률 (Data Priors) 평가를 향하여

데이터 생성 사전 확률 (Data-generating priors)은 사전 학습 (Pretraining) 중에 사용되는 태스크 분포 (Task distribution)를 정의하기 때문에 정형 데이터 파운데이션 모델 (Tabular foundation models)의 핵심 구성 요소입니다. 그러나 사전 확률 (Priors)은 독립적인 구성 요소로서 평가되는 경우가 드물어, 이것이 다운스트림 모델 (Downstream model)의 동작에 얼마나 영향을 미치는지 이해하기 어렵습니다. 이는 방법론적인 질문을 제기합니다: 서로 다른 정형 데이터 파운데이션 모델에서 유래한 사전 확률들을, 해당 모델들이 도입될 때 사용된 아키텍처 (Architectures) 및 학습 프로토콜 (Training protocols)과 무관하게 어떻게 독립적으로 비교할 수 있을까요? 이 질문을 연구하기 위해, 우리는 최근의 정형 데이터 파운데이션 모델에서 공개된 사전 확률들과 실제 데이터셋으로부터 구축된 사전 확률들을 위한 통합 인터페이스 (Unified interface)를 구현합니다. 우리는 각 사전 확률로부터 학습 태스크 (Training tasks)를 생성하고, 고정된 학습 프로토콜 하에서 동일한 모델 아키텍처를 학습시키며, 결과로 나온 모델들을 공유된 다운스트림 분류 태스크 (Downstream classification tasks)에서 평가합니다. 우리는 생성된 태스크의 통계 (Generated-task statistics)와 다운스트림 예측 성능 (Downstream predictive performance) 모두를 통해 사전 확률들을 비교합니다. 우리의 결과는 서로 다른 사전 확률들이 서로 다른 다운스트림 동작을 선호하며, 일부는 더 강력한 절대적 성능을 달성하는 반면 다른 것들은 데이터셋 전반에 걸쳐 더 일관된 상대적 순위 (Relative rankings)를 나타낸다는 것을 보여줍니다. 우리는 더 나아가 데이터 수준의 유사성 (Data-level similarity)이 다운스트림 동작을 부분적으로만 설명한다는 것을 발견했습니다. 우리의 코드는 https://github.com/automl/TFM-Playground/tree/prior-dev 에서 확인할 수 있습니다.