FollowTable: 지시사항 준수 표 검색 벤치마크

요약

본 기술 기사는 기존의 주제 유사성 기반 표 검색(Table Retrieval)이 LLM 에이전트 시스템의 발전과 함께 명시적인 지시사항 준수 방식으로 변화하고 있음을 제시합니다. 이에 따라, 내용 범위 및 스키마 제약 조건을 동시에 만족해야 하는 새로운 작업인 '지시사항 준수 표 검색(IFTR)'을 공식화했습니다. 연구진은 IFTR에 대한 첫 대규모 벤치마크인 FollowTable을 소개하고, 지시사항 적응도를 측정하는 Instruction Responsiveness Score라는 새로운 평가 지표를 제안하며, 기존 모델들이 이러한 세밀한 지시사항 처리에서 어려움을 겪고 있음을 보여줍니다.

핵심 포인트

• 전통적인 표 검색(TR)은 주제 유사성 기반이었으나, LLM 에이전트 사용 증가로 인해 명시적이고 조건부인 '지시사항 구동' 방식으로 변화하고 있다.
• 새로운 작업 정의인 지시사항 준수 표 검색(IFTR)은 내용 범위 제약과 스키마 기반 요구 사항을 동시에 만족해야 한다.
• 연구진은 IFTR의 첫 대규모 벤치마크인 FollowTable을 구축하여 체계적인 평가 환경을 제공한다.
• 새로운 지표 'Instruction Responsiveness Score'를 통해 모델이 사용자 지시사항에 얼마나 일관되게 적응하는지 측정할 수 있다.