프로덕션 텍스트-투-SQL 시스템의 SQL 정확도 평가: 에이전트 독립적 접근

요약

본 기사는 실제 운영 환경(프로덕션)에서 사용되는 텍스트-투-SQL(T2SQL) 시스템의 정확도를 평가하는 새로운 프레임워크 'Stef'를 제안합니다. 기존 평가는 정답 쿼리나 데이터베이스 스키마에 의존하여 현장 적용이 어렵다는 한계가 있었습니다. Stef는 이러한 외부 의존성 없이 자연어 입력만으로 작동하며, 복합 지표와 견고한 정규화 처리를 통해 해석 가능한 정확도 점수를 제공함으로써 T2SQL 에이전트의 지속적인 모니터링 및 개선을 가능하게 합니다.

핵심 포인트

• 기존 T2SQL 평가는 스키마나 정답 쿼리에 의존하여 프로덕션 환경 적용에 한계가 있다.
• Stef(Schema-agnostic Text-to-SQL Evaluation Framework)는 외부 데이터베이스 스키마 없이 자연어 입력만으로 평가가 가능하다.
• Stef는 의미론적 규격화, 기능/필터 정렬, 그리고 신뢰도 점수 등 복합 지표를 사용하여 해석 가능한 정확도 점수를 산출한다.
• 강화된 질문 품질 검증 및 프로덕션 견고한 정규화 처리를 통해 실제 운영 환경에서의 평가 신뢰도를 높였다.