Tabular Foundation Models (TFMs)는 의료 데이터셋에서 강력한 성능을 달성하지만, 추론 비용(Inference cost)과 인프라 요구 사항이 실제 사용을 제한합니다. 본 연구에서는 지식 증류 (Knowledge Distillation)를 통해 TFM의 예측 동작을 경량화된 Tabular 모델로 전이할 수 있는지 연구합니다. In-context TFM은 추론 시점에 훈련 데이터셋에 의존하므로, 단순한 증류 방식은 컨텍스트 누수 (Context leakage)를 유발할 수 있습니다. 우리는 이를 층화된 Out-of-fold 교사 라벨링 (Stratified out-of-fold teacher labeling)을 통해 해결합니다. 19개의 의료 데이터셋, 6개의 TFM 교사 (Teacher) 모델, 4개의 학생 (Student) 모델군, 그리고 여러 멀티 교사 앙상블 (Multi-teacher ensembles)을 대상으로 실험한 결과, 증류된 학생 모델은 교사 모델 AUC의 최소 90%를 유지하며 일부 사례에서는 교사 모델을 능가하는 성능을 보였습니다. 또한, CPU에서 최소 26배 더 빠르게 작동하면서도 의료 애플리케이션에 필수적인 보정 (Calibration) 및 공정성 (Fairness)을 유지했습니다. 나아가, 멀티 교사 평균화 (Multi-teacher averaging)가 최상의 단일 교사 모델보다 일관되게 성능을 향상시키지는 않는다는 점을 발견했습니다. 따라서 누수 방지형 증류 (Leakage-aware distillation)는 추론 제약이 있는 의료 환경에 TFM 수준의 예측 성능을 도입할 수 있는 실행 가능한 경로입니다.