KnowsTFM: 소규모 정형 데이터 파운데이션 모델의 지식 기반 미세 조정 (Knowledge-Informed Fine-Tuning of

정형 데이터 파운데이션 모델 (Tabular foundation models)은 수많은 소규모 및 중규모 작업에 걸쳐 강력한 기본 성능을 제공함으로써 정형 데이터를 위한 딥러닝 (deep learning) 기술을 발전시켜 왔습니다. 그러나 데이터가 부족하고, 고차원적이며, 사전 학습 분포 (pretraining distribution)에서 벗어난 니치 도메인 (niche domains)에서는 여전히 정교하게 설계된 도메인 특화 방법론을 능가하지 못할 수 있습니다. 이러한 많은 도메인은 지식 그래프 (knowledge graphs) 및 지식 뱅크 (knowledge banks)의 형태로 큐레이션된 관계형 지식을 제공하기도 하지만, 이 지식을 사용하여 extit{소규모} 전문 정형 데이터 파운데이션 모델을 개선하고 유도하는 방법은 여전히 불분명합니다. 우리는 extbf{Know}ledge-informed fine-tuning of extbf{s}mall extbf{T}abular extbf{F}oundation extbf{M}odels ( extbf{KnowsTFM})을 통해 이 문제를 해결합니다. 구체적으로, 우리는 통제된 합성 사전 분포 (synthetic prior families) 하에서 사전 학습되고 두 가지 상호 보완적인 메커니즘인 지식 그래프에서 유도된 구조적 어텐션 사전 확률 (structural attention priors) 및 매개변수 효율적인 저차원 업데이트 (parameter-efficient low-rank updates)를 사용하여 적응된 나노스케일 (nanoscale) TabPFN 및 TabICL 스타일 변형 모델들을 연구합니다. 우리는 미세 조정 (fine-tuning) 과정에서 도메인 특화 구조적 지식을 주입하는 것이 전문적인 설정에서는 바닐라 (vanilla) 변형 모델들에 비해 유의미한 이득을 가져오는 반면, 일반 도메인 작업에서의 이득은 미미하다는 것을 보여줍니다. 나아가 우리는 프런티어 모델 (frontier models)의 지속적인 미세 조정이 사전 학습된 지식과 메커니즘의 붕괴 (collapse)를 유발할 수 있음을 관찰했습니다.