컴퓨터 과학 (Computer Science) > 머신러닝 (Machine Learning)

제목: 대규모 언어 모델(LLMs)이 표 형식 데이터 예측에서 실패하는 이유

PDF HTML 보기 (실험적)

초록: 대규모 언어 모델(LLMs)은 놀라울 정도로 다양한 작업의 기본 도구가 되었지만, 가장 흔한 머신러닝 워크로드 중 하나인 표 형식 데이터(tabular data)에 대한 예측 분석에서는 눈에 띄게 적은 성공을 거두었습니다. 이러한 격차는 빠르게 성장하는 표 형식 파운데이션 모델(tabular foundation models) 분야의 기초 전제가 되었으나, 일반적인 LLM이 왜 실패하는지에 대한 질문은 여전히 미해결 상태로 남아 있습니다. 본 연구에서는 도구, 에이전트 기반 스캐폴딩(agentic scaffolding), 미세 조정(fine-tuning) 없이 전체 훈련 및 테스트 데이터가 포함된 프롬프트에 대해 단 한 번의 생성 패스(single generation pass)를 수행하는 가장 순수한 추론 체제(inference regime)에서의 최첨단 LLM을 연구하며, 실패에 대한 다섯 가지 가설을 체계적으로 평가합니다: (a) 노이즈가 있거나 비선형적으로 분리 가능한(non-linearly-separable) 데이터를 처리하지 못함; (b) 선형화된 CSV 형식이 열 구조를 가림; (c) 숫자 값의 토큰화(tokenisation); (d) 쿼리당 분류되는 테스트 포인트의 수; (e) 입력의 차원(dimensionality). 통제된 실험 결과 (a)~(d)는 거짓으로 판명되었습니다. 반면, 차원은 결정적인 요인이었습니다. 31개의 벤치마크 데이터셋에 대해 무작위 선형 투영(random linear projections)을 수행한 결과, 9개의 방법론 중 차원이 증가함에 따라 정확도가 감소하는 유일한 방법은 LLM이었으며, 모든 고전적 베이스라인(classical baseline)은 성능이 유지되거나 향상되었습니다. 252개의 구성된 고전적 모델들과의 행동 비교를 통해, 2차원에서는 LLM이 국소적 거리 기반 방법(local, distance-based method)처럼 예측하지만(최대 91.6% 그리드 일치), 더 높은 차원에서는 조정된 차원 의존적 노이즈(dimension-dependent noise)를 추가하더라도 그 어떤 고전적 모델도 LLM의 예측을 재현하지 못한다는 것을 발견했습니다.

우리는 내부 메커니즘을 식별했다고 주장하지 않습니다. 우리의 결과는 보다 겸허하게, LLM의 능력이 노이즈로 오염된 그 어떤 고전적 학습기(classical learner)도 모방할 수 없는 방식으로 차원(dimension)에 따라 소멸한다는 것을 보여줍니다. 이는 다른 분야에서는 매우 유능한 LLM이 왜 표(tables) 데이터에서는 50년 된 베이스라인(baselines) 모델들에게 계속해서 패배하는지를 설명해주며, 예측의 메커니즘은 여전히 미해결 과제로 남겨둡니다.

참고 문헌 및 인용 도구

이 기사와 관련된 코드, 데이터 및 미디어

데모

추천 및 검색 도구

arXivLabs: 커뮤니티 협력자와 함께하는 실험적 프로젝트

arXivLabs는 협력자들이 우리의 웹사이트에서 직접 새로운 arXiv 기능을 개발하고 공유할 수 있도록 지원하는 프레임워크입니다.

arXivLabs와 함께 활동하는 개인 및 조직은 개방성, 커뮤니티, 탁월함, 그리고 사용자 데이터 프라이버시라는 우리의 가치를 수용하고 받아들였습니다. arXiv는 이러한 가치에 전념하고 있으며, 이를 준수하는 파트너와만 협력합니다.

arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있나요? arXivLabs에 대해 더 알아보기.