구조화된 의료 데이터를 위한 Tabular Foundation Models 증류

요약

Tabular Foundation Models(TFMs)의 높은 추론 비용과 인프라 요구 사항을 해결하기 위해 지식 증류(Knowledge Distillation)를 활용한 경량화 연구를 수행했습니다. 층화된 Out-of-fold 교사 라벨링 방식을 통해 컨텍스트 누수 문제를 해결하였으며, 실험 결과 학생 모델이 교사 모델 성능의 90% 이상을 유지하면서도 CPU 환경에서 최대 26배 빠른 속도를 기록했습니다.

핵심 포인트

• 지식 증류를 통해 TFM의 성능을 경량화된 모델로 성공적으로 전이 가능함
• 층화된 Out-of-fold 교사 라벨링을 사용하여 In-context TFM의 컨텍스트 누수 문제를 방지함
• 증류된 모델은 의료 데이터 분석에 필수적인 보정(Calibration) 및 공정성(Fairness)을 유지함
• CPU 환경에서 기존 TFM 대비 최소 26배 이상의 추론 속도 향상을 달성함
• 멀티 교사 평균화가 항상 단일 교사 모델보다 우수한 성능을 보장하지는 않음을 발견함