LLM이 인간이 참여한 개발보다 더 나은 객체 지향 설계를 생성할 수 있는가?

배경: 대규모 언어 모델 (LLMs)은 코드 생성에 점점 더 많이 사용되고 있습니다. 그러나 객체 지향 설계 (OOD)를 요구하는 다중 클래스 프로젝트를 생성하는 능력, 특히 인간이 참여하여 개발된 프로젝트와 비교했을 때의 능력은 여전히 불분명합니다. 목적: 본 연구의 주요 목적은 세 가지 저자 조건에 따른 프로젝트의 OOD 품질을 비교하는 것입니다: PreAI (LLM의 광범위한 사용 이전에 제작된 인간 참여 프로젝트), PostAI (LLM의 광범위한 사용 이후에 제작된 인간 참여 프로젝트), 그리고 PureAI (최신 LLMs에 의해 엔드 투 엔드로 생성된 프로젝트). 방법: 우리는 대학원 Java 과제에 대한 비교 사례 연구를 수행했습니다. 동일한 과제의 두 가지 결과물을 PreAI 및 PostAI 데이터셋으로 선정했습니다. PureAI 프로젝트는 세 가지 최신 LLMs를 사용하여 생성되었습니다. 우리는 프로젝트 수준의 OOD 지표, 코드 스멜 (code smell) 밀도, 그리고 도메인 모델링 (domain modeling)을 사용하여 OOD 품질을 분석했습니다. 결과: 인간이 참여한 프로젝트와 비교했을 때, PureAI 프로젝트는 더 낮은 코드 스멜 밀도를 보이며 전체 크기, 복잡도 및 결합도 (coupling) 측면에서 일반적으로 더 단순해 보입니다. 그러나 이는 추상화 (abstraction)의 누락 및 약한 책임 분리 (responsibility separation)와 연관되어 있어 과도한 단순화 (oversimplification)와 일치하는 결과입니다. PostAI는 많은 OOD 측정 항목에서 PreAI보다 PureAI에 더 가깝게 나타나며, 역시 과도한 단순화 경향을 보입니다. 결론: 우리의 연구 결과는 LLM을 객체 지향 설계에 사용할 때, 객체 지향 분해 (object-oriented decomposition) 및 책임 할당 (responsibility assignment)에 대한 적절한 인간의 가이드가 여전히 중요하다는 것을 나타냅니다.