LLM4MTLs: 모델 변환 언어(MTLs)의 자동 생성 및 실증적 평가

모델 변환 언어 (Model transformation languages, MTLs)는 주어진 메타모델 (metamodel)을 준수하는 모델을 소스 코드와 같은 텍스트 모델을 포함한 다른 모델로 변환하기 위한 도메인 특화 언어 (domain-specific languages)입니다. 정확한 모델 변환을 개발하는 것은 언어 특화 지식과 도메인 지식을 모두 필요로 하는 어려운 작업이며, 이는 MTL 코드 생성을 위해 거대 언어 모델 (Large Language Models, LLMs)을 사용하는 동기가 됩니다. 그러나 제한된 학습 데이터와 실행 가능한 예제로 인해, LLM이 생성한 MTL 코드는 즉시 사용 가능한 구문론적 유효성 (syntactically valid)이나 의미론적 사용성 (semantically usable)을 갖추지 못하는 경우가 많습니다. 본 논문은 LLM이 생성한 MTL 코드를 위한 프롬프팅 전략 (prompting strategies)을 구축하고 비교하는 자동화된 워크플로인 LLM4MTLs를 제안하며, 이와 함께 평가 스위트 (evaluation suite) 및 실증적 평가를 제시합니다. 이 워크플로는 퓨샷 프롬프팅 (few-shot prompting), 문법 프롬프팅 (grammar prompting), 그리고 헬퍼 메서드 (helper method) 포함을 결합한 프롬프트 구성을 체계적으로 탐색하고, 구문론적 (syntactic) 및 의미론적 (semantic) 지표를 사용하여 이를 평가합니다. 우리는 실행 가능한 참조 스크립트와 수동으로 작성된 테스트 스위트를 갖춘 4가지 MTL (ATL, ETL, QVTo, 그리고 Reactions 언어)에 걸친 평가 스위트를 구축하고, 3개의 LLM을 대상으로 평가를 수행합니다. 연구 결과, 퓨샷 프롬프팅은 4가지 MTL 모두에서 구문론적 품질을 일관되게 향상시키는 반면, 의미론적 정확성 (semantic correctness)의 이득은 불균등하며 언어에 따라 다르게 나타납니다. ATL의 경우, 모든 전략과 모델에서 Pass@1이 변하지 않았는데, 이는 퓨샷 프롬프팅이 심층적인 변환 의미론 (transformation semantics)보다 표면적인 구문을 더 쉽게 개선함을 나타냅니다. 문법 프롬프팅은 퓨샷 예제와 결합될 때 코드 생성을 안정화하지만, 단독으로 사용될 경우 특정 모델-언어 조합에 대해 효과가 없거나 심지어 역효과를 낼 수도 있습니다. 보완적인 증폭기로서 헬퍼 메서드를 포함하는 것 또한 유익할 수 있습니다. 마지막으로, LLM의 선택은 특정 MTL, 특히 ETL과 QVTo에 대해 구문론적 정확성 및 유사성에 영향을 미치지만, 의미론적 정확성에 미치는 영향은 제한적입니다.