CLARITY: 대화형 NL2SQL 시스템에서의 언어 모호성과 답변 불가능성을 위한 프레임워크 및 벤치마크

요약

Clarity는 대화형 자연어-SQL(NL2SQL) 시스템의 현실적인 실패 시나리오를 다루기 위해 설계된 새로운 프레임워크이자 벤치마크입니다. 이 프레임워크는 단일 및 다중 턴 설정에서 다양한 모호성과 사용자 행동을 가진 NL2SQL 쿼리를 자동으로 생성합니다. 실험 결과, 기존 선도 시스템들은 복합적인(다면적) 모호성 하에서 성능이 크게 저하되며, 단순히 모호성을 감지하는 것을 넘어 근본적인 도식 수준의 원인을 파악하고 해결하는 데 어려움을 겪는 것으로 나타났습니다.

핵심 포인트

• 기존 NL2SQL 벤치마크는 현실 세계의 복잡한 대화형 시나리오와 실패 모드를 충분히 반영하지 못합니다.
• Clarity 프레임워크는 단일 및 다중 턴 환경에서 다양한 수준의 모호성을 가진 NL2SQL 데이터를 자동으로 생성할 수 있습니다.
• 최신 LLM 기반 NL2SQL 시스템들은 복합적인(다면적) 모호성 상황에 취약하며 성능 저하가 관찰되었습니다.
• 효과적인 산업용 NL2SQL 시스템은 단순히 모호성을 감지하는 것을 넘어, 도식 수준의 근본 원인을 정확하게 파악하고 해결할 수 있어야 합니다.