온프레미스 Open LLM은 Text-to-SQL에서 어디까지 도달했는가? BIRD 데이터셋을 통한 모델군별 크기 x 기술 프런티어 분석

요약

BIRD 데이터셋을 활용하여 온프레미스 환경에서 실행되는 오픈 웨이트 모델들의 Text-to-SQL 성능을 분석한 연구입니다. Qwen2.5-Coder, CodeLlama, Llama-3.x 모델군을 대상으로 스키마 연결, 자기 수정 등 다양한 기술적 레시피의 효과를 검증했습니다.

핵심 포인트

• 모델 크기보다 생성 능력이 성능에 더 결정적인 영향을 미침
• 자기 수정(Self-correction) 기법은 모든 모델군에서 유의미한 성능 향상을 보임
• 스키마 연결(Schema linking)은 성능 개선에 큰 도움이 되지 않음
• 자기 일관성(Self-consistency)은 토큰 비용 대비 효율이 매우 낮음