강화학습을 이용한 Text-to-SPARQL 생성: DBLP 데이터셋에 대한 GRPO 기반 접근 방식

요약

본 연구는 정답 쿼리 주석이 없는 상황에서 소규모 언어 모델이 Text-to-SPARQL 생성을 수행할 수 있도록 GRPO 기반의 강화학습 방식을 제안합니다. DBLP-QuAD 데이터셋을 활용하여 Qwen3-1.7B 모델에 실행 피드백과 구조적 제약을 보상으로 사용하는 학습을 적용한 결과, 제로샷 베이스라인 대비 유의미한 성능 향상과 일반화 능력을 확인했습니다.

핵심 포인트

• 정답 쿼리 없이 결과 기반 보상(outcome-based rewards)만으로 Text-to-SPARQL 생성이 가능함을 입증
• GRPO(Group-Relative Policy Optimization)를 활용하여 소규모 모델의 제로샷 성능을 효과적으로 개선
• 실행 피드백(execution feedback)이 모델 성능 향상의 핵심적인 기여 요소임을 확인
• 지도 학습 기반의 DoRA 미세조정이 동일 규모 모델에서 더 높은 정확도를 보였으나, GRPO는 경쟁력 있는 일반화 성능을 제공함