LLM 기반 vs. 탐색 기반 병합 충돌 해결: 경쟁 패러다임에 대한 실증적 연구

배경 (Context): 소프트웨어 병합 충돌 (merge conflicts) 해결 방식이 두 가지 경쟁 패러다임, 즉 대규모 언어 모델 (LLMs) 기반의 생성적 접근 방식과 탐색 기반 소프트웨어 공학 (SBSE)의 최적화 접근 방식으로 재편되고 있습니다. 두 패러다임의 도구 모두 가능성을 보여주었으나, 이들의 상대적인 강점, 약점 및 트레이드오프 (trade-offs)는 아직 명확히 이해되지 않았습니다. 목적 (Objective): 본 논문은 실제 시나리오에서의 역량과 한계를 식별하기 위해 이 패러다임들을 직접 비교하는 최초의 심층적인 실증적 연구를 제시합니다. 방법 (Method): 우리는 최첨단 LLM 기반 도구인 MergeGen을, Random Restart Hill Climbing (RRHC) 알고리즘을 사용하는 새로운 SBSE 접근 방식인 SBCR과 비교 평가했습니다. 비교에는 Java, C#, JavaScript, TypeScript로 작성된 오픈 소스 프로젝트의 수천 개의 실제 충돌 사례가 사용되었습니다. 결과 (Results): 연구 결과는 근본적인 트레이드오프를 드러냅니다. LLM 패러다임은 학습된 패턴을 활용하여 불균형한 콘텐츠를 가진 충돌을 해결하는 데 탁월합니다. 그러나 비영어권 콘텐츠와 대규모 입력값에는 어려움을 겪으며, 이는 해결 결과가 잘리거나 비어 있는 상태로 이어질 수 있습니다. 반대로, SBSE 패러다임은 데이터셋 전반에 걸쳐 우수한 일반화 성능을 보여주며 균형 잡힌 충돌에서 최고의 성능을 발휘하여, 견고하고 데이터 독립적인 대안으로서의 잠재력을 강조합니다. 결론 (Conclusions): 어느 패러다임도 만능 해결책 (silver bullet)은 아닙니다. 우리의 연구 결과는 문맥에 따른 강점을 강조하며, 더욱 견고하고 신뢰할 수 있는 병합 충돌 해결 도구를 만들기 위해 LLM과 SBSE 접근 방식의 상호 보완적인 역량을 결합한 하이브리드 시스템 개발의 필요성을 시사합니다.