Text2DSL: LLM 기반 도메인 특화 언어 (DSL) 코드 생성
요약
자연어 설명을 통해 도메인 특화 언어(DSL) 코드를 자동 생성하는 Text2DSL 프레임워크와 PolkitBench 데이터셋을 제안합니다. AST 기반 파이프라인과 구조화된 컨텍스트 주입을 통해 LLM의 DSL 생성 성능을 획기적으로 향상시킬 수 있음을 입증했습니다.
핵심 포인트
- Text2DSL을 새로운 문제 클래스로 공식화 및 PolkitBench 데이터셋 공개
- AST 기반 3단계 파이프라인을 통한 DSL 코드 생성 프로세스 구축
- BNF 문법 및 API 사양 등 구조화된 컨텍스트 제공 시 구문 유효성 최대 99.4% 달성
- 미세 조정 없이 프롬프트 컨텍스트 주입만으로도 고품질 생성 가능성 확인
도메인 특화 언어 (Domain-specific languages, DSLs)는 운영 체제 보안 정책을 관리하는 데 널리 사용되지만, 이러한 언어로 규칙을 수동으로 작성하는 것은 높은 전문성을 요구하며 오류가 발생하기 쉽습니다. 본 논문은 자연어 설명으로부터 자동화된 DSL 코드를 생성하는 작업인 Text2DSL을 Text-to-SQL 및 범용 코드 생성 (general-purpose code generation)과는 별개의 독특한 문제 클래스로 공식화합니다. 우리는 3단계 AST (Abstract Syntax Tree) 기반 파이프라인을 통해 검증된 4,204개의 자연어-Polkit-규칙 쌍으로 구성된 PolkitBench 데이터셋을 소개합니다. 규모와 출처가 다른 두 가지 MoE (Mixture-of-Experts) 모델인 GigaChat-10B-A1.8B (활성 파라미터 1.8B)와 Nemotron-3-Nano-30B-A3B (활성 파라미터 3B)에 대한 통제된 프롬프트 실험을 통해, LLM 기반 DSL 코드 생성에서 구조화된 컨텍스트 (BNF 문법, API 사양, 허용된 식별자 어휘)의 결정적인 역할을 입증합니다. 두 모델 모두에서 컨텍스트를 제공했을 때 구문 유효성 (syntactic validity)은 98.6-99.4%로 상승하였고, 구조적 유효성 (structural validity)은 +9.7에서 +35.5 pp 상승했으며, CodeBLEU 점수는 +60%에서 +95%까지 향상되었습니다. 규모와 출처가 다른 모델 전반에 걸쳐 나타나는 이러한 효과의 일관성은, Text2DSL 문제 클래스의 경우 모델 미세 조정 (fine-tuning) 없이도 프롬프트 컨텍스트에 정식 타겟 언어 사양을 주입하는 것이 고품질 생성을 위한 강력한 촉진 요인임을 나타냅니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기