TAHOE: 경험 기반 자동 힌트 최적화를 통한 Text-to-SQL

대규모 언어 모델 (LLMs)은 Text-to-SQL을 통해 데이터베이스 접근을 민주화했지만, 프로토타입에서 실제 운영 환경으로 전환하는 것은 여전히 어려운 과제로 남아 있습니다. 실제 배포 환경에서는 엄격한 SQL 방언 (SQL dialects), 방대한 스키마 (schemas), 그리고 진화하는 사용자 선호도를 처리해야 하는 반면, 지도 미세 조정 (supervised fine-tuning)은 비용이 많이 들고 경직되어 있으며, 에이전트 방식의 테스트 시간 확장 (agentic test-time scaling)은 비용이 많이 듭니다. 우리는 프롬프트 최적화를 동적인 데이터 관리 문제로 취급하는 시스템인 Tahoe를 제시합니다. Tahoe는 개발 (Development) 및 배포 (Deployment) 단계 전반에 걸쳐 오류 기반 힌트 학습 파이프라인을 사용하여 디버깅 추적 (debugging traces)을 구조화된 힌트 뱅크 (Hint Bank)로 통합합니다. 컴파일러 피드백은 방언별 규칙을 위한 재사용 가능한 구문 힌트 (Syntax Hints)로 증류되며, 실행 및 사용자 피드백은 스키마 및 사용자별 로직을 위한 의미론적 힌트 (Semantic Hints)로 변환됩니다. 또한 Tahoe는 상충하는 사용자 의도를 공유된 자연어 트리거 하의 경쟁 전략으로 모델링하는 전략 계층 (Strategy Layer)을 도입하며, 여기에는 경험적 성공, 위해, 무효성 및 지원을 요약하는 최신성 신호와 사후 학습 귀속 통계 (post-learning attribution statistics)가 포함됩니다. 추론 시점에 Tahoe는 관련 힌트를 검색하고 논리 계획 (Logic Planning)에 이어 SQL 합성 (SQL Synthesis)을 통해 LLM을 안내합니다. 우리는 개발 단계의 워크플로우를 구현하고 평가하였으며, 배포 시점의 인간 피드백 업데이트는 향후 과제로 남겨두었습니다. Spider 2.0-Snow 데이터셋에서 Tahoe는 모델 파라미터를 업데이트하지 않고도 Text-to-SQL 성능을 실질적으로 향상시킵니다. GPT-5.5를 사용한 113개의 지도 학습된 Spider 2.0-Snow-0212 예시에서, Tahoe는 통과율 (pass rate)을 61.95%에서 79.42%로, pass-at-4를 72.57%에서 87.61%로 높였으며, 100%의 Snowflake 구문 통과율을 달성하고, 샘플링된 후보당 평균 컴파일러 피드백 비평 라운드 (compiler-feedback critic rounds)를 2.79회에서 0.12회로 줄였습니다. 동일한 힌트 뱅크는 더 약한 백본 (backbones) 모델에도 전이되어, Doubao-2.0-lite에서 19.7%포인트의 통과율 상승을 기록했습니다.