R$^3$-SQL: 순위 평가 및 재표본추출을 위한 텍스트 투 SQL

요약

R$^3$-SQL은 기존 Text-to-SQL 시스템의 두 가지 주요 문제점인 불일치한 점수 부여와 올바른 SQL 부재 문제를 해결하기 위해 제안된 새로운 프레임워크입니다. 이 프레임워크는 실행 결과가 같은 후보들을 그룹화하고, 그룹 내 일관성을 유지하면서 순위를 매깁니다. 또한, 생성된 후보 풀의 리콜을 개선하기 위해 필요할 경우 재표본추출(resampling) 기능을 추가하여 전반적인 성능과 안정성을 높였습니다.

핵심 포인트

• R$^3$-SQL은 Text-to-SQL 시스템의 신뢰성 및 정확도를 향상시키는 통합 프레임워크입니다.
• 기존 방법론의 문제점인 '동일 결과에 대한 불일치한 점수'와 '올바른 SQL 부재 시 한계'를 해결합니다.
• 후보들을 실행 결과별로 그룹화하고, 쌍별 선호도 및 점별 유용성을 결합하여 일관성 있는 순위 평가를 수행합니다.
• 필요에 따라 재표본추출(agentic resampling)을 통해 후보 리콜을 개선함으로써 성능의 안정성을 확보했습니다.
• BIRD-dev 벤치마크에서 높은 실행 정확도(75.03)를 달성하며 최신 기술 수준을 입증했습니다.