프로덕션 텍스트-투-SQL 시스템의 SQL 정확도 평가: 에이전트 독립적 접근

프로덕션 환경에서의 텍스트-투-SQL (T2SQL) 평가는 기존 벤치마크가 다루지 못하는 근본적인 과제를 안고 있습니다. 현재 사용되는 평가 방법론은 규칙 기반 SQL 매칭이나 스키마 의존적 의미론적 파서를 사용하지만, 이는 모두 정답 쿼리 (ground-truth queries) 와 구조화된 데이터베이스 스키마에 접근할 수 있어야 한다는 전제 조건을 요구합니다. 그러나 실제 현장 배포에서는 이러한 제약 조건이 거의 충족되지 않습니다. 이 단절로 인해 프로덕션 T2SQL 에이전트는 개발 단계의 테스트를 넘어 평가받지 못해, 지속적인 개선을 위한 피드백 메커니즘 없이 침묵하는 품질 저하가 발생합니다.

우리는 스키마에 독립적인 텍스트-투-SQL 평가 프레임워크 (Stef: Schema-agnostic Text-to-SQL Evaluation Framework) 를 제시합니다. Stef 는 데이터베이스 스키마나 참조 쿼리가 필요 없는 자연어 입력 (사용자 질문, 강화된 재구성 문장, 생성된 SQL) 만으로 작동하는 프로덕션 네이티브 평가 시스템입니다. Stef 는 자연어와 SQL 표현 모두에서 의미론적 규격화를 추출하고, 정규화된 기능 정렬을 수행하며, 필터 정렬, 의미론적 판정, 평가자의 신뢰도를 포괄하는 복합 지표를 통해 0 에서 100 점의 해석 가능한 정확도 점수를 생성합니다.

주요 기여 사항은 다음과 같습니다: 첫 번째 클래스 평가 신호로 작용하는 강화된 질문 품질 검증, 프롬프트 템플릿화를 통한 적용 가능한 규칙 주입, 그리고 GROUP BY 허용 범위, ORDER BY 기본값, LIMIT 휴리스틱을 처리하는 프로덕션 견고한 정규화 처리입니다. 경험적 결과는 Stef 가 스키마 의존성 없이 프로덕션 모니터링 및 에이전트 개선 피드백 루프를 가능하게 함으로써, 구조화된 쿼리 평가가 처음으로 대규모로 실현 가능하도록 함을 보여줍니다.