표 형식 데이터용 기반 모델 NVIDIA Kumo Tabular 소개

안녕하세요, 마츠오 연구소의 스즈키 아키마사입니다!

2026년 9월에 NVIDIA에서 공개된 고성능 표 형식 데이터용 기반 모델(사전 학습 모델)인 Kumo Tabular에 대해 소개합니다.

요약 (TL;DR)

NVIDIA에서 표 형식 기반 모델 Kumo Tabular가 공개되었으며, 여러 표 형식 데이터 벤치마크에서 1위를 차지했습니다.
표 형식 데이터에서의 In-context Learning을 통해 모델 업데이트를 동반하는 재학습 없이 추론이 가능합니다.
상용 이용 가능한 라이선스 표 형식 데이터 기반 모델입니다.

Kumo Tabular란

Kumo Tabular는 Transformer를 기반으로 분류 및 회귀를 대상으로 하는 표 형식 데이터용 기반 모델 (Tabular Foundation Model: TFM)입니다. Hugging Face의 소개 기사에서 상세가 공개되었으며, 4가지 표 형식 벤치마크(TabArena, BeyondArena, TALENT, ScoringBench)에서 1위를 차지했다고 보고되었습니다.

가장 큰 특징은 모델 파라미터 업데이트를 동반하는 학습이 필요하지 않다는 점입니다.

대량의 합성 데이터로 사전 학습되었기 때문에 개별 데이터에서의 재학습이 불필요하며, 정답 데이터와 추론 데이터를 입력(In-context Learning)함으로써 추론을 가능하게 합니다.

지금까지도 TabArena 상위권에는 표 형식 기반 모델(예: TabPFN 3.5 등)은 있었지만, 상용 이용 가능한 라이선스로 공개된 모델은 많지 않은 인상이었습니다. 반면, Kumo Tabular는 OpenMDW-1.1 라이선스이며, 상용 이용 가능한 표 형식 기반 모델로 공개되었습니다.

Model Code: https://github.com/NVIDIA/structured-data-models
Model Weights: https://huggingface.co/nvidia/Kumo-Tabular

※ 엄밀히 말하면, Kumo Tabular의 추론 라이브러리 코드는 Apache-2.0, 모델 가중치는 OpenMDW 1.1입니다. 실제 이용 시에는 이용 형태에 따른 확인이 필요합니다.

※ TabArena에 등장하는 모델은, 이전에 본 기사에서 상세 기술이 소개되었습니다.

Kumo Tabular의 작동 원리

Kumo Tabular는 3가지 기술 요소로 구성되어 있습니다.

① Cell Embedding (셀 임베딩)

수치형 값과 범주형 값을 신경망으로 처리 가능한 벡터로 변환합니다. Shifted group(1 셀씩 완전히 독립적으로 처리하는 것이 아니라, 주목하고 있는 셀을 그룹화), Fourier features(수치형 값과 범주형 값을 sin·cos을 사용한 고차원 벡터로 변환), NaN mask(결손 위치에 넣는 대체값, 그 위치가 원래 결손이었는지 여부를 구분하여 처리) 등을 사용하여 처리됩니다.

② Table Encoder (테이블 인코더)

Column Attention(열 방향의 Attention)과 Row Attention(행 방향의 Attention)이 번갈아 실행됩니다. 각 행에는 행 전체 정보를 모으기 위한 4개의 학습 가능한 [CLS] 토큰이 추가됩니다. 마지막 Row Attention에서는 이 4개 토큰이 각 열의 정보를 읽어내고, 그 출력을 연결하여 열 수에 관계없이 고정 길이의 '행 벡터'를 만듭니다. 이후의 In-context Learning에서는 이 행 벡터를 사용하므로, 모든 셀을 그대로 다룰 필요가 없습니다.

③ In-context Learning (인컨텍스트 러닝)

레이블이 지정된 참조 행(context)과 특징량만 주어진 예측 대상 행(query)을 모델에 입력합니다. 모델의 가중치를 업데이트하지 않고, context 내의 '특징량과 레이블의 대응'을 그 자리에서 참조하여 query를 예측합니다. Test-GQA를 통해, 예측 대상 행이 대량의 참조 행을 참조할 때 메모리 사용량과 계산량을 줄이고, 마지막 Head가 태스크별 출력(분류: 각 클래스의 확률, 회귀: 999개의 분위점)으로 변환합니다.

합성 학습 데이터 생성 방법

Kumo Tabular는 대량의 합성 데이터로 사전 학습되었으며 (Small: 약 3,500만 테이블, Medium: 7,100만 테이블, Large: 1억 3,700만 테이블로 사전 학습), 합성 데이터는 다음 6단계로 생성됩니다.

샘플 하이퍼파라미터(Sample hyper-parameters): 무작위로 '어떤 표를 만들지' 결정합니다.
인과 그래프 샘플링(Sample a causal graph): 변수 간의 관계를 나타내는 인과 그래프를 만듭니다.
SCM 실행, 루트 → 리프(Run the SCM, root → leaf): 근본 변수에 난수를 부여하고, 그래프에 따라 각 변수의 값을 계산합니다.
표 읽기(Read out the table): 내부 그래프의 값을 실제 표의 열로 변환합니다.
표 후처리(Post-process the table): 결측치나 이상치 등 실 데이터를 모방한 노이즈를 추가합니다.
학습 가능한 표 유지(Keep learnable tables): 실제로 예측 가능한 표만 남깁니다.

요약하자면, 무작위로 테이블 구성(행/열 수나 목적 변수 등)을 선택하고, 그래프를 이용한 인과적 규칙을 부여하여 의미 있는 테이블 데이터를 생성하며, 현실 세계의 노이즈를 추가한 후, 마지막으로 학습이 가능한 표만 남기는 과정입니다.

이는 TabPFN이 대표적인 예시인 '합성된 지도학습(supervised learning) 태스크로 사전 학습하고, 레이블이 지정된 context로부터 query를 in-context learning으로 예측하는' 계보에 속합니다.

참고로, TabPFN은 LayerX님의 글에서 자세하고 쉽게 소개되었습니다.

Kumo Tabular의 성능

표 형식 벤치마크 실적 외에도, 작성 시점(2026년 10월)에 Kaggle에서 진행 중인 Playground 표 형식 대회인 Predicting Airline Satisfaction에서는 Kumo Tabular가 GBDT나 MLP 같은 모델보다 뛰어난 성능을 보였다고 토론(Discussion)에 보고되었습니다.

또한, Kumo Tabular는 성능이 동등한 다른 표 형식 데이터 기반 모델과 비교했을 때, 동등하거나 더 빠른 추론 속도를 보여준다는 점도 제시되었습니다.

Kumo Tabular의 주의점

Hugging Face의 글에 따르면, Kumo Tabular는 최대 100개의 열, 최대 60,000개의 행을 가진 참조 데이터(context)를 사용하여 단계적으로 사전 학습되었으며, 제한 사항으로 이러한 학습 범위를 크게 초과하는 표나, 참조 데이터와 예측 대상 데이터의 분포가 다른 경우에는 성능 저하에 대한 우려가 언급되었습니다.

요약

NVIDIA에서 공개한 표 형식 기반 모델 Kumo Tabular를 소개했습니다.
향후 Kaggle 등 데이터 과학 커뮤니티에서 성능 결과 보고가 증가한다면, Kumo Tabular가 유망한 표 형식 모델이 될 수 있습니다.