테이블 데이터 수치 추론의 일반화 성능 향상: TaNOS 프레임워크

요약

전문 도메인 테이블 기반의 수치 추론 모델은 특정 데이터셋에 과적합되어 도메인 이동(domain shift) 시 성능 저하가 심각합니다. 본 논문은 TaNOS라는 지속적인 사전 학습 프레임워크를 제안하며, 이는 헤더 익명화, 최소 구조 단서 제공을 위한 연산 스케치(operation sketches), 그리고 프로그램 기반의 정확성 보장 자가 지도 학습 (self-supervised pretraining) 세 가지 요소로 구성됩니다. TaNOS는 도메인 의미론과 수치 연산 구조를 분리하여 모델의 전이 가능성을 높입니다. 8B 파라미

핵심 포인트

• TaNOS 프레임워크는 헤더 익명화, 연산 스케치, 자가 지도 학습을 결합하여 테이블 기반 수치 추론의 일반화 성능을 개선합니다.
• TaNOS를 적용한 8B 모델은 FinQA에서 전체 학습 데이터 사용 시 SFT 기준선(73.97%)보다 높은 80.13%의 실행 정확도를 달성했습니다 (단, 학습 데이터는 10%만 사용).
• 도메인 이동 실험 결과, TaNOS는 표준 SFT가 10pp 이상의 격차를 보이는 반면, 2pp 미만의 매우 작은 교차 도메인 간극을 보여 높은 강건성을 입증했습니다.
• 이러한 결과는 구조적 안내(structural guidance), 헤더 비의존적 표현(header-agnostic representations), 그리고 정확성 보장 자가 지도 학습이 수치 추론의 로버스트니스 향상에 효과적임을 시사합니다.