PolySQL: 자동 백엔드 동형성(Automated Backend Isomorphism)을 통한 SQL 방언 간 Text-to-SQL 평가

요약

PolySQL은 데이터베이스 엔진별 SQL 방언 차이로 인해 발생하는 Text-to-SQL 벤치마크의 심각한 평가 격차 문제를 해결하기 위해 개발된 새로운 이중 실행(dual-execution) 프레임워크입니다. 기존 방식들이 값비싼 수동 쿼리 변환에 의존하거나 실패하는 경우가 많았던 것과 달리, PolySQL은 정규화된 실행 결과를 비교하여 쿼리 변환 과정 없이도 높은 평가 충실도를 달성합니다. 이 프레임워크는 최초로 대규모 방언 간 연구를 가능하게 했으며, SQL 방언 이동 시 성능 저하가 주로 구문적 오류가 아닌 논리적 오류에서 비롯됨을 밝혀냈습니다.

핵심 포인트

• PolySQL은 정규화된 실행 결과 비교를 통해 쿼리 변환 없이 Text-to-SQL 평가의 정확도를 높입니다.
• 이 프레임워크는 SQLite에만 의존하던 기존 벤치마크의 한계를 극복하고 대규모 방언 간 연구를 가능하게 합니다.
• 연구 결과, SQL 방언을 변경할 때 발생하는 성능 저하는 구문적 오류보다 논리적 오류(61%)에서 기인합니다.
• PolySQL 프레임워크 코드와 리더보드를 공개하여 커뮤니티의 엄격한 방언 강건성 평가를 지원합니다.