깊이는 언제 도움이 되는가? 테이블형 파운데이션 모델의 레이어별 추론 이해

요약

본 논문은 테이블형 파운데이션 모델(TFM)의 레이어별 추론 과정을 분석했습니다. 272개 데이터셋에서 TabPFN-3을 연구한 결과, TFM이 깊은 계층까지 상당한 표현 변화를 유지하며 예측 성능 향상을 보였습니다. 특히 국소적으로 모호한 쿼리가 잘 분리된 쿼리보다 더 큰 정확도 향상을 얻는 등 입력 의존적인 깊이별 중복성을 발견했습니다.

핵심 포인트

• TFM은 공유 계층 스택을 통해 다양한 입력을 처리하며 높은 성능을 달성합니다.
• 깊은 계층까지 상당한 표현 변화가 지속되어 예측에 기여함을 확인했습니다.
• 국소적으로 모호한 쿼리가 잘 분리된 쿼리보다 더 큰 정확도 향상을 얻었습니다.
• 단순한 사후 대체보다는 고정된 모델 구조의 깊이별 중복성을 평가해야 합니다.