FERN: 고정된 리트리버와 학습된 랭킹을 사용한 Text-to-SQL의 크로스 벤치마크 테이블 검색

대규모 통합 카탈로그를 사용하는 Text-to-SQL 시스템은 먼저 질문에 필요한 테이블들을 검색해야 합니다. 우리는 Claude 3.5 모델을 사용하여 키워드를 추출하고 테이블을 선택하는 RASL이 발표한 테이블 재현율(recall)과 BIRD, Spider, Fiben 통합 카탈로그에서 비교했습니다. FERN (Feature-Engineered Ranking with No generative LLM)은 대신 세 개의 고정된 리트리버를 100개의 후보로 융합하고, 각 후보에 최대 120개의 특징(feature)을 설명하며, BIRD의 학습 질문에 한 번 적합시킨 LightGBM 랭커로 순서를 재배열합니다. 해당 모델이 적합되지 않은 Spider에서는, 후보군만으로도 RASL이 발표한 15개 테이블 기준 재현율(98.0)에 도달하며, 랭커는 상위 5개 안에 모든 골드 테이블을 포함하는 질문의 비율(complete@5)을 83.9%에서 95.6%로 높입니다. 5개 테이블 기준으로 FERN의 재현율은 Spider에서 RASL과 1포인트 차이(96.7 대 97.0)이며, 증거 단서(evidence hints)가 있는 BIRD에서는 (96.6 대 97.5)로, 증거 단서가 없는 BIRD에서는 8.2포인트 낮습니다(89.3). 121개의 실제 BEAVER 질문에 대해, BEAVER 적합 과정 없이도 15개 테이블 기준 재현율은 두 BEAVER 학습 리트리버(80.8, 84.5) 사이에 위치하지만, complete@15는 둘 다보다 낮습니다(49.6 대 54.5 및 62.0). Fiben에서는 15개 테이블 기준으로 크게 미달합니다(54.2 대 69.2, 다른 질문 세트임에도 불구하고), 비록 50개 테이블 기준 재현율은 RASL의 질문 전용 검색 결과(80.7 대 79.4)와 수치적으로 가깝습니다. BIRD 개발 환경에서 증거 단서가 있을 경우, 리트리버 신호만 사용했을 때보다 비-검색 특징(non-retrieval features)이 complete@5를 7.7포인트 높입니다. BIRD 개발 환경에서는 호스팅된 모델 호출 없이 A100 한 장비에서 질문당 중앙 지연 시간(median latency)은 208ms입니다.