TRACER: Code LLM의 미세한 오염 탐지를 위한 의미 인식 프레임워크

데이터 오염 (Data contamination)은 모델 평가의 신뢰성에 알려진 위협입니다. 그러나 오염이 단순한 정확한 복제를 넘어 발생하는 경우가 많은 코드 거대 언어 모델 (Code LLMs) 분야에서는 여전히 충분히 탐구되지 않은 상태로 남아 있습니다. 본 논문에서는 미세한 코드 오염 탐지를 위한 의미 인식 (semantic-aware) 프레임워크인 TRACER를 제안합니다. TRACER는 기능적으로 동일 (Functionally Identical), 거의 동일 (Nearly Identical), 그리고 논리 공유 (Shared Logic)라는 세 가지 수준의 의미적 중첩 (semantic overlap)을 사용하여 오염을 모델링하며, 거친 단계에서 미세한 단계로 이어지는 파이프라인 (coarse-to-fine pipeline)을 통해 이를 탐지합니다. 또한, 세 가지 널리 사용되는 벤치마크와 세 가지 대표적인 사후 학습 (post-training) 데이터셋을 아우르는 미세한 코드 오염 탐지를 위한 최초의 벤치마크를 소개합니다. TRACER는 여러 LLM 백본 (backbones)에 걸쳐 강력하고 일관된 성능을 달성하였으며, GPT-5는 미세 탐지에서 0.91의 F1 점수를 기록했습니다. 이진 설정 (binary setting)에서 TRACER는 0.92의 F1 점수를 달성하여 기존 방법보다 42%-217% 더 뛰어난 성능을 보였습니다. 나아가 우리는 TRACER의 개별 구성 요소들의 기여도를 평가하기 위해 절제 연구 (ablation studies) 및 오류 분석 (error analysis)을 수행합니다.