대부분의 비즈니스 예측 문제는 산문(prose) 형태로 나타나지 않습니다. 계정 속성, 트랜잭션, 센서 판독값, 테스트 결과, 그리고 타겟 컬럼(target column)과 같은 행(rows)의 형태로 나타납니다. 이러한 종류의 데이터에 대해서는 그래디언트 부스팅 트리(gradient-boosted trees) 및 기타 전통적인 방법들이 여전히 대체하기 어려운 위치를 차지하고 있습니다.

새로운 논문인 Why Large Language Models Fail at Tabular Prediction는 “LLM이 표를 분류할 수 있는가?”라는 질문보다 훨씬 더 유용한 질문을 던집니다: “태스크가 일반적인 표 머신러닝(tabular machine learning)과 유사해질수록 구체적으로 무엇이 무너지는가?”

저자들의 통제된 실험 결과는 입력 차원(input dimensionality)이었습니다. 이 결과가 중요한 이유는 그럴듯해 보이지만 테스트에서 입증되지 않은 여러 설명으로부터 실제적인 한계를 구분해 내기 때문입니다.

실험은 표 채팅이 아닌 예측에 관한 것이었습니다

이 논문은 순수한 추론(inference) 설정에서 최첨단 LLM들을 평가합니다: 모델은 레이블이 지정된 예시를 받고, 단 한 번의 생성 패스(generation pass) 내에서 새로운 행에 대한 레이블을 예측해야 합니다. 베이스 모델(base model)을 보완하기 위한 미세 조정(fine-tuning), 검색 파이프라인(retrieval pipeline), 도구 호출(tool calling), 또는 에이전트 루프(agent loop)는 없습니다. 이는 의도적으로 좁게 설정된 것입니다. 이는 범용 언어 모델이 직접적인 표 학습기(tabular learner)로서 작동할 수 있는지를 묻는 것입니다.

31개의 벤치마크 데이터셋에 걸쳐, 저자들은 9가지 방법과 252개의 구성된 클래식 모델(classical models)을 비교합니다. 이러한 범위는 중요합니다. 하나의 CSV 파일에서 나타난 약한 결과는 프롬프트 디자인(prompt design)이나 특이한 데이터셋 때문이라고 설명하기 쉽습니다. 하지만 많은 태스크에 걸쳐 나타나는 일관된 트렌드는 무시하기 어렵습니다.

핵심은 단순히 LLM이 기존의 표 베이스라인(tabular baselines)에 패배한다는 것이 아닙니다. 연구된 클래식 베이스라인들이 안정적이거나 개선되는 반면, LLM의 정확도는 입력 차원의 수가 증가함에 따라 감소한다는 점입니다. 따라서 이 논문은 차원(dimensionality)을 어려운 데이터셋의 부수적인 특성이 아닌, 중심적인 실패 모드(failure mode)로 다룹니다.

네 가지 대중적인 설명은 테스트를 통과하지 못했습니다

개발자들이 표(Table) 데이터에 대한 LLM의 성능이 저조한 이유로 제시하는 몇 가지 표준적인 이유가 있습니다. 연구진은 이를 검증 가능한 가설(falsifiable hypotheses)로 전환했습니다.

“클래스(Classes)가 너무 많이 겹친다.” 데이터에 노이즈가 있거나 깔끔하게 분리되지 않는다면, 모델이 결정 경계(decision boundary)를 추론하지 못할 수도 있습니다. 실험 결과에 따르면 이것만으로는 성능 격차를 설명하기에 부족합니다. 신호(signal)를 더 쉽게 분리할 수 있도록 만들었음에도 성능 문제는 여전히 남아 있었습니다.

“CSV가 표 구조를 파괴한다.” 열(column)과 행(row)을 토큰 시퀀스(token sequence)로 변환하는 것은 명백한 불일치처럼 느껴집니다. 하지만 직렬화 형식(serialization format)을 변경해도 문제는 해결되지 않았습니다. 모델은 열 정보에 접근할 수 있음에도 불구하고, 단순해야 할 신호들에서 여전히 실패합니다.

“숫자가 잘못 토큰화(tokenized)된다.” 숫자 문자열이 어색한 방식으로 토큰으로 분할되므로, 크기 비교(magnitude comparisons)가 원인일 수 있습니다. 수치 정밀도(numeric precision)를 낮추는 등의 관련 조치들도 기대했던 성능 회복을 이끌어내지 못했습니다.

“한 프롬프트에 테스트 행(test rows)이 너무 많다.” 많은 예측을 포함하는 프롬프트는 모델의 연산 자원(compute)을 너무 분산시킬 수 있습니다. 다시 말하지만, 이 부하를 줄이는 것 역시 설명이 되지 않았습니다.

이러한 결과 중 어느 것도 포맷팅, 숫자 표현, 또는 컨텍스트 길이(context length)가 실제 운영 환경에서 전혀 중요하지 않다는 뜻은 아닙니다. 그것들은 중요합니다. 핵심적인 지점은, 이러한 요소들이 이번 직접 예측(direct-prediction) 설정에서 관찰된 성능 붕괴(collapse)를 설명하지 못한다는 것입니다. 이 차이점은 우리가 이러한 시스템을 디버깅하는 방식을 바꾸어야 함을 시사합니다. 즉, CSV에서 JSON으로 전환하는 것이 고차원 학습 문제(high-dimensional learning problem)를 해결할 가능성은 낮다는 것입니다.

차원(Dimensionality)은 다른 종류의 장애물입니다

표 형식의 특징(tabular features)은 종종 이질적(heterogeneous)이며 관계가 약하게 연결되어 있습니다. 고객의 지역, 계정 생성일, 기기 유형, 거래 횟수, 소득 구간, 그리고 수십 개의 파생 신호(derived signals)가 각각 조금씩 기여할 수 있습니다. 특징들이 축적됨에 따라, 유용한 국소적 유사성(local similarity)을 식별하는 것이 어려워집니다. 이는 우리에게 익숙한 차원의 저주(curse of dimensionality)의 한 형태입니다.

2차원(two dimensions)에서 이 논문은 LLM의 동작이 low-$k$ nearest neighbors (저차원 $k$-최근접 이웃) 또는 짧은 척도(short-length-scale)의 Gaussian processes (가우시안 프로세스)와 같은 국소적 방법(local methods)과 유사하다는 것을 발견했습니다. 즉, 모델의 예측은 이웃 기반의 결정 규칙(neighborhood-based decision rule)처럼 보일 수 있습니다. 보고된 그리드 일치도(grid agreement)는 이러한 비교 중 일부에서 91.6%에 달합니다.

더 높은 차원에서는 그러한 유사성이 사라집니다. 저자들은 조정된 차원 의존적 노이즈(dimension-dependent noise)를 추가한 후에도 어떠한 고전적 모델(classical models)로도 LLM의 동작을 재현할 수 없었습니다. 이는 가치 있는 부정적 결과(negative result)입니다. 모델은 단순히 설정이 나빠진 평범한 최근접 이웃 분류기(nearest-neighbor classifier)가 되는 것이 아닙니다. 모델의 예측 동작은 특징짓기(characterize) 어려워지며 정확도 또한 낮아집니다.

이는 왜 유창한 설명이 오해를 불러일으킬 수 있는지를 명확히 해줍니다. LLM은 데이터셋을 설명하고, 가능성 있는 피처(feature)의 의미를 식별하며, 그럴듯한 분석 계획을 작성할 수 있습니다. 하지만 이러한 능력들이 모델이 수많은 구조화된 변수(structured variables)에 대해 신뢰할 수 있는 결정 함수(decision function)를 추정하는 데 필요한 귀납적 편향(inductive bias)을 습득했음을 의미하지는 않습니다.

개발자는 대신 무엇을 사용해야 하는가?

테이블에 대한 지도 학습 예측(supervised prediction)을 위해서는 테이블용으로 설계된 방법부터 시작하십시오. Gradient-boosted decision trees (그래디언트 부스팅 결정 트리)는 혼합된 수치형 및 범주형 피처(numeric and categorical features), 중간 규모의 데이터셋 크기, 결측치(missing values), 그리고 비선형 상호작용(non-linear interactions)에 대해 여전히 강력한 기본값(default)입니다. XGBoost의 원본 논문은 부스팅 트리(boosted trees)가 왜 그토록 실용적인 베이스라인(baseline)이 되었는지에 대한 유용한 배경 지식을 제공합니다.

또한 다음 토큰 예측(next-token prediction)에서 변형된 것이 아니라, 표 예측(tabular prediction)을 위해 명시적으로 구축된 모델에 대한 활발한 연구도 진행되고 있습니다. 예를 들어, TabPFN-2.5는 기존 방식들과 비교 평가된 테이블 파운데이션 모델(tabular foundation model)입니다. 이 모델의 존재는 다음과 같은 설계 교훈을 강화합니다: “파운데이션 모델(foundation model)”이 “범용 LLM(general-purpose LLM)”과 동의어는 아닙니다. 아키텍처(architecture), 학습 분포(training distribution), 그리고 태스크 프레이밍(task framing) 모두가 중요합니다.

범용 LLM은 테이블 워크플로우(tabular workflow) 주변에서 여전히 유용한 역할을 수행할 수 있습니다:

• SQL, 피처 엔지니어링 (feature-engineering) 코드 및 실험 스캐폴딩 (experiment scaffolding) 생성;
• 비즈니스 질문을 측정 가능한 목표로 변환;
• 데이터 사전 (data dictionaries) 및 데이터 품질 검사 (data-quality checks) 요약;
• 모델 문서화 및 오류 분석 (error analysis) 지원;
• 다른 곳에서 학습된 모델에 대한 자연어 인터페이스 (natural-language interface) 제공.

이러한 것들은 오케스트레이션 (orchestration) 및 인터페이스 작업입니다. 이를 예측 모델 (predictive model) 자체를 대체하는 것과 혼동해서는 안 됩니다.

실질적인 시사점

채팅 모델이 테이블을 읽을 수 있는 능력을 테이블로부터 학습할 수 있다는 증거로 취급하지 마십시오. 목표가 정확한 표 예측 (tabular prediction)이라면, 먼저 트리 기반 (tree-based) 베이스라인을 구축하고, 홀드아웃 평가 프로토콜 (held-out evaluation protocol)로 이를 측정하며, 그 후에야 LLM 기반 접근 방식을 이에 맞서 테스트하십시오.

새로운 논문은 프리프린트 (preprint)이므로, 그 결론은 재현 및 확장이 필요합니다. 또한 이 연구는 미세 조정 (fine-tuned)되거나 도구 증강 (tool-augmented)된 시스템보다는 순수 추론 (pure inference)을 연구합니다. 하지만 그 실험적 접근 방식은 채택할 가치가 있습니다. 한 번에 하나의 설명만을 격리하고, 데이터가 거부할 때는 편리한 설명을 거부하며, 남아 있는 구조적 제약 (structural constraint)에 집중하십시오.

이 연구 분야에 대한 더 넓은 지도를 보려면, 표 데이터를 위한 대규모 언어 모델에 관한 서베이 (survey on large language models for tabular data)를 참조하십시오. 핵심 메시지는 절제되어 있지만 유용합니다: 언어 모델은 표 워크플로우 (tabular workflows)를 운영하기 더 쉽게 만들 수 있지만, 실제 예측 핵심 (predictive core)은 여전히 데이터에 적합한 편향 (bias)을 가진 방법론이 필요합니다.