의미론적 코드 클론 탐지: 우리는 도달했는가?

코드 클론 탐지(Code clone detection)는 수십 년 동안 광범위하게 연구되어 왔으며, 최근의 접근 방식들은 벤치마크 데이터셋에서 의미론적 (Type-4) 클론에 대해 놀라울 정도로 높은 성능을 보고하기 시작했습니다. 그러나 이러한 결과가 프로그램 간의 의미적 동등성(semantic equivalence)을 포착하는 진정한 능력을 반영하는 것인지, 아니면 단순히 데이터셋 특유의 패턴을 이용하는 능력인지 여부는 여전히 불분명합니다. 본 논문에서 우리는 벤치마크 평가 설정을 넘어 최신 (SOTA) 의미론적 코드 클론 탐지기들의 일반화 가능성을 조사하는 최초의 체계적인 실증 연구를 제시합니다. 클론 유형 간의 내재적인 포함 관계에 영감을 받아, 우리는 Type-2 및 Type-3 클론 변형에서 유도된 8개의 변환 연산자로 구성된 클론 연산자 프레임워크를 제안합니다. 이러한 연산자들을 사용하여, 우리는 분포가 이동되었으나 의미론적으로는 동등한 Type-4 클론 인스턴스들을 구축하고, 토큰 기반(token-based), 트리 기반(tree-based), 그래프 기반(graph-based) 패러다임에 걸친 11개의 대표적인 탐지기들을 실제 환경의 BigCloneBench 데이터셋에서 평가합니다. 우리의 결과는 모든 평가된 접근 방식들이 강력한 벤치마크 성능에도 불구하고 상당한 성능 저하를 보인다는 것을 드러냅니다. 추가 분석 결과, 기존 탐지기들은 견고한 의미론적 이해보다는 어휘적 및 구조적 단서에 기반한 지름길 학습(shortcut learning)에 크게 의존하고 있음을 보여줍니다. 우리의 연구 결과는 현재의 SOTA 의미론적 코드 클론 탐지기들이 실제 시나리오에서 제한된 일반화 능력을 보인다는 것을 시사하며, 향후 연구를 위한 중요한 방향을 강조합니다.