LIFT: 테이블 명시화를 위한 라스트 마일 미세 조정 (Last-Mile Fine-Tuning)

요약

Lift는 사전 학습된 LLM이 비정형 텍스트에서 초기 테이블을 추출하고, 미세 조정된 SLM이 이 테이블의 오류를 수정하는 '라스트 마일 미세 조정(last-mile fine-tuning)' 파이프라인입니다. 이 접근 방식은 단 1,000개의 학습 예시만으로도 기존 엔드 투 엔드 미세 조정보다 높은 성능을 보여주었으며, 특히 입력 형식의 가변성에 대한 견고성을 입증했습니다.

핵심 포인트

• Lift는 LLM과 SLM을 결합하여 테이블 추출 및 오류 수정 과정을 거치는 파이프라인입니다.
• 단 1,000개의 학습 예시만으로도 기존 엔드 투 엔드 미세 조정 방식에 필적하거나 능가하는 성능을 달성했습니다.
• TEDS 지표를 기준으로 높은 성능을 보였으며, 입력 형식의 가변성에 대한 견고성을 제공합니다.
• 라스트 마일 미세 조정(last-mile fine-tuning)은 데이터가 제한적이거나 정확도를 유지하며 입력 변화에 대응할 때 유용한 대안입니다.