LLM이 소프트웨어 디자인 패턴을 사용하도록 유도하는 전략: Singleton 사례 연구

대규모 언어 모델 (LLMs)은 자연어 프롬프트로부터 기능적인 소스 코드를 생성할 수 있지만, 종종 상위 수준의 아키텍처 구조나 디자인 패턴 (design patterns)을 일관되게 따르는 데 실패합니다. LLMs가 소프트웨어 공학 (software engineering) 분야에서 점점 더 많이 사용됨에 따라, 생성된 코드에 확립된 디자인 원칙을 적용하는 능력은 소프트웨어 제품의 장기적인 성공에 매우 중요합니다. 따라서 본 논문의 목표는 LLMs가 생성된 소스 코드에 디자인 패턴을 포함하도록 유도하는 전략을 식별하는 것입니다. 우리는 HumanEval-X의 164개 Java 코딩 과제를 사용하여, 네 가지 프롬프팅 (prompting) 전략인 지시사항 (instructions), 이진 자동 피드백 (binary automated feedback), 광범위한 자동 피드백 (extensive automated feedback), 그리고 퓨샷 프롬프트 (few-shot prompts)를 포함한 광범위한 피드백을 통해 13개의 LLMs가 Singleton 디자인 패턴을 따르는 코드를 생성하는 능력을 평가하기 위한 계산 실험을 설계했습니다. 우리의 결과는 LLMs가 디자인 패턴을 포함하도록 유도하는 최적의 전략이 모델의 유형에 크게 의존함을 보여줍니다. 그럼에도 불구하고, 전반적으로 반복적인 이진 피드백 (iterative binary feedback)은 코드의 기능성을 유지하거나 향상시키면서 Singleton과의 가장 좋은 정렬 (alignment)을 제공합니다. 지시사항 (instructions)을 통한 유도 시, Llama 3.3은 100%의 사례에서 Singleton 클래스를 생성했으며 코드 기능성을 향상시켜 통과된 테스트 수를 34.1 퍼센트 포인트 증가시켰습니다. 이는 지시사항과 이진 피드백을 통한 유도를 통해서도 유사한 결과를 달성했습니다. Qwen 3 (8B)는 이진 피드백을 사용하여 Singleton과의 정렬을 99.2%로, 기능성을 58.6%로 높였습니다. 우리의 결과는 단순한 전략만으로도 LLMs가 디자인 패턴을 사용하도록 유도하는 데 사용될 수 있음을 시사합니다.