표 형식 파운데이션 모델 (Tabular Foundation Models)에 대한 기계론적 연구

서로 다른 아키텍처를 가진 표 형식 파운데이션 모델 (Tabular foundation models)들은 다양한 분류 (Classification) 및 회귀 (Regression) 작업에서 유사한 정확도로 수렴합니다. 이는 리더보드(Leaderboard)만으로는 답할 수 없는 다음과 같은 질문들을 제기합니다: (i) 모델들이 동일한 인컨텍스트 알고리즘 (In-context algorithm)을 실행하는지, (ii) 행 (Row), 열 (Column), 클래스 순열 불변성 (Class-permutation invariances)이 어디에서 기인하는지, 그리고 (iii) 추론된 메커니즘에 맞춰 설계된 섭동 (Perturbations) 하에서 얼마나 견고한지 여부입니다. 우리는 이 세 가지를 규명합니다. 모델 제품군들은 질적으로 구별되는 유사성 기반 판독 (Similarity-based readouts)을 구현합니다: 컨텍스트 레이블 (Context labels)에 대한 어텐션 가중 투표 (Attention-weighted vote)부터 클래스 조건부 평균 판독 (Class-conditional mean readout)에 이르기까지, 각각은 인과적 개입 (Causal intervention)을 통해 확인되었습니다. 우리는 이전 연구에서 강조된 표현 붕괴 (Representation collapse)가 이 모델들에게는 실질적인 문제가 아님을 발견했습니다. 각 모델의 순열 불변성 (Permutation invariances)은 특정 위치 파라미터 (Positional parameters)로 추적되며, 이를 제거하더라도 정확도가 유지되며 근사적 불변성을 정확한 불변성으로 만듭니다. 각 판독 방식에 맞춰 설계된 섭동은 예측된 실패 모드 (Failure modes)를 재현하며, 허브 (Hub) 및 순위 (Rank) 공격은 이를 재학습된 베이스라인 (Refit baselines)으로부터 격리합니다. 이러한 결과들을 종합하면 현대의 표 형식 파운데이션 모델에 대한 기계론적 설명 (Mechanistic account)을 제공하며, 모델의 정확도와 특징적인 실패를 모두 지배하는 귀납적 편향 (Inductive biases)이 무엇인지 식별할 수 있습니다.