잠재 공간 속에서 길을 잃다: 코드 임베딩이 기능적 의도와 구현 충실도를 어떻게 표현하는가

코드 임베딩 모델(Code embedding models)은 많은 소프트웨어 엔지니어링 애플리케이션의 핵심 구성 요소가 되었지만, 그 내부 표현 방식에 대해서는 여전히 이해도가 낮습니다. 기존 평가는 주로 다운스트림 태스크 성능(downstream task performance)에 초점을 맞추고 있어, 단일 임베딩이 기능적 추상화(functional abstraction)와 구현 민감 분석(implementation-sensitive analysis) 둘 다를 지원할 수 있는지에 대한 통찰력을 제공하는 데 한계가 있습니다. 이러한 격차를 해소하기 위해, 우리는 14개의 최신 코드 임베딩 모델(state-of-the-art code embedding models)에 대한 대규모 실증 연구(large-scale empirical study)를 제시합니다. 우리는 세 가지 상호 보완적인 분석을 통해 이들의 표현적 행동을 평가합니다: 기능적 추상화 및 구현 충실도를 위한 지도 학습 프로빙(supervised probing), 기하학적 유사성을 평가하기 위한 제로샷 검색 실험(zero-shot retrieval experiments), 그리고 의미를 보존하는 코드 변환에 대한 임베딩의 반응을 측정하는 통제된 교란 실험(controlled perturbation experiments)입니다. 그 결과는 일관된 추상화-충실도 긴장 관계(abstraction-fidelity tension)를 보여줍니다: 스타일적 및 구조적 신호를 더 잘 보존하는 모델일수록 의미론적 일반화(semantic generalization)의 희생을 치르는 경향이 있으며, 비슷한 검색 성능을 가진 모델이라 할지라도 동일한 구현 변경에 매우 다르게 반응할 수 있습니다. 전반적으로, 우리의 발견은 단 하나의 범용 코드 표현 방식은 아직 도달하기 어렵다는 것을 시사하며, 소프트웨어 엔지니어링 분야에서 코드 임베딩 모델의 보다 표현 인식적인(representation-aware) 평가, 선택 및 배포를 촉진합니다.