DSL-Bench: 도메인 특화 언어(DSL) 전반에 걸친 LLM 코드 생성 평가 및 설명

요약

DSL-Bench는 LLM의 도메인 특화 언어(DSLs) 코드 생성 능력을 평가하는 새로운 벤치마크 및 분석 프레임워크를 제시합니다. 평가 결과, 평균 의미론 통과율은 11.64%로 나타나 구문적 정확성보다 낮은 수준임을 보여주었습니다. 특히 RAG-Refinement 기법을 적용했을 때 의미론적 정확도가 크게 향상되는 것을 확인했습니다.

핵심 포인트

• DSL-Bench는 크로스-DSL 코드 생성을 위한 새로운 평가 프레임워크입니다.
• LLM의 DSL 코드 생성 시, 구문 수용성보다 의미론적 정확성이 큰 병목 현상을 보였습니다.
• 지식 요구도(Knowledge Demand)가 높을수록 의미론적 정확도가 낮아지는 경향이 관찰되었습니다.
• RAG-Refinement는 기준선 대비 의미론적 정확도를 평균 16.29%p 향상시켰습니다.