SQL을 위한 프롬프트 엔지니어링: 정교한 문구보다 스키마가 중요하다

프롬프트 엔지니어링은 질문의 표현 방식보다는 스키마 컨텍스트, 검증된 예시, 실행 피드백을 제공함으로써 텍스트-투-SQL(text-to-SQL) 정확도를 향상시킨다...

요약: 정확도의 격차는 언어 문제가 되기 전에 스키마 문제입니다. BIRD 벤치마크에서 인간의 정확도는 약 93%에 위치하고, 선도적인 공개 시스템은 대략 82%에 도달하며, Spider 2.0의 엔터프라이즈 스키마(800개 이상의 컬럼)에서는 순수 모델의 성공률이 10~20%까지 떨어질 수 있습니다. 이 숫자는 합리적으로 보입니다. 쿼리는 실행되었고, 결과를 반환했으며, 그 전에 본 모든 정확한 쿼리와 똑같이 보였습니다.

핵심 요약

• 벤치마크를 벗어나면 스키마 크기가 상황을 더 나쁘게 만든다.
• 교훈은 모델이 성능이 떨어진 것이 아니라는 것이다.
• 그 숫자는 맞다.

BIRD 벤치마크 분석—실행 정확도, 힌트 의존성, 주석 오류율: beancount.io 리서치 로그 2.

전체 기사 읽기: https://www.bestprompt.art/prompt-engineering-for-sql/