ZAS-SQL: 실패 사례로부터 규칙을 증류하여 Zero-Shot Text-to-SQL 구현하기

Text-to-SQL은 자연어를 실행 가능한 SQL 쿼리(SQL queries)로 변환합니다. 거대 언어 모델(LLMs)을 기반으로 구축된 퓨샷 인컨텍스트 러닝(Few-shot in-context learning) 방식은 강력한 성능을 달성하지만, 예시(demonstrations)에 대한 의존성으로 인해 교차 도메인 일반화(cross-domain generalization)가 제한되고 상당한 컨텍스트 윈도우(context window) 공간을 소비합니다. 효과적인 생성 제약 조건이 부족한 기존의 제로샷(zero-shot) 방식들은 여전히 퓨샷 방식에 미치지 못하고 있습니다. 우리는 제로샷 Text-to-SQL에서 발생하는 LLM의 실패가 무작위가 아니라 체계적이고 반복되는 패턴을 보인다는 점을 관찰했습니다. 이러한 관찰을 바탕으로, 우리는 Map-Reduce 기반의 규칙 증류(rule distillation) 파이프라인을 통해 실패 사례로부터 핵심 생성 규칙을 추출하는 완전한 제로샷 Text-to-SQL 프레임워크를 제안합니다. 또한 다음 세 가지 상호 보완적인 모듈을 통해 생성 품질을 향상시킵니다: 데이터 정의 언어(Data Definition Language)에서 누락된 의미론(semantics)을 보완하는 지식 증강 스키마 표현(knowledge-augmented schema representation), 구조적 편차를 억제하는 규칙 기반 구조적 추론 프레임워크(rule-driven structured reasoning framework), 그리고 저비용 자기 수정(self-correction)을 가능하게 하는 실행 가이드 조기 종료(Execution-Guided Early Stopping)입니다. Spider 데이터셋에서 제안된 프레임워크는 Dev 및 Test 세트에서 각각 최대 87.2%와 88.6%의 실행 정확도(execution accuracy)를 달성하여, 새로운 제로샷 SOTA(state-of-the-art)를 구축하고 GPT-4/4o를 기반으로 구축된 여러 퓨샷 및 미세 조정(fine-tuning) 방식들을 능가했습니다. 도메인 특화 데이터셋인 UrbanPlan에서는 81.3%를 달성하여 규칙 증류 방식이 도메인 간에 일반화됨을 확인했습니다. 또한, 4B 파라미터 모델을 탑재했을 때 이 프레임워크는 주요 폐쇄형 모델(closed-source models)의 제로샷 베이스라인을 능가하며 강력한 모델 범용성을 입증했습니다.