아키텍처보다 데이터 제시가 중요하다: Tabular Foundation Models를 이용한 신용 위험 예측을 위한 재샘플링 전략

요약

신용 부도 예측과 같은 정형 데이터 학습에서 Tabular Foundation Models(TFMs)의 성능은 모델 아키텍처보다 컨텍스트 윈도우를 구성하는 샘플링 전략에 더 큰 영향을 받습니다. 연구 결과, 균형 잡힌 샘플링(balanced sampling)을 통해 구축된 컨텍스트가 모델 종류보다 AUC-ROC 성능 향상에 더 결정적인 역할을 함을 확인했습니다.

핵심 포인트

• TFM의 성능은 모델 아키텍처 선택보다 컨텍스트 구축 전략(샘플링 방식)에 더 민감하게 반응함
• 균형 잡힌 샘플링 및 하이브리드 샘플링이 균등 샘플링 대비 AUC-ROC를 3~4 포인트 향상시킴
• 5K~10K 규모의 균형 잡힌 컨텍스트를 사용할 경우, TFM이 고전적 베이스라인 수준의 성능과 더 높은 부도 클래스 재현율을 달립
• 불균형한 정형 데이터 환경에서 TFM 배포 시 핵심 레버는 컨텍스트 구성 전략임