Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Code LLM의 신뢰성을 위협하는 미세한 데이터 오염을 탐지하기 위한 의미 인식 프레임워크 TRACER를 제안합니다. 세 가지 수준의 의미적 중첩을 활용한 파이프라인을 통해 기존 방식보다 월등한 탐지 성능을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기데이터 오염 (Data contamination)은 모델 평가의 신뢰성에 알려진 위협입니다. 그러나 오염이 단순한 정확한 복제를 넘어 발생하는 경우가 많은 코드 거대 언어 모델 (Code LLMs) 분야에서는 여전히 충분히 탐구되지 않은 상태로 남아 있습니다. 본 논문에서는 미세한 코드 오염 탐지를 위한 의미 인식 (semantic-aware) 프레임워크인 TRACER를 제안합니다. TRACER는 기능적으로 동일 (Functionally Identical), 거의 동일 (Nearly Identical), 그리고 논리 공유 (Shared Logic)라는 세 가지 수준의 의미적 중첩 (semantic overlap)을 사용하여 오염을 모델링하며, 거친 단계에서 미세한 단계로 이어지는 파이프라인 (coarse-to-fine pipeline)을 통해 이를 탐지합니다. 또한, 세 가지 널리 사용되는 벤치마크와 세 가지 대표적인 사후 학습 (post-training) 데이터셋을 아우르는 미세한 코드 오염 탐지를 위한 최초의 벤치마크를 소개합니다. TRACER는 여러 LLM 백본 (backbones)에 걸쳐 강력하고 일관된 성능을 달성하였으며, GPT-5는 미세 탐지에서 0.91의 F1 점수를 기록했습니다. 이진 설정 (binary setting)에서 TRACER는 0.92의 F1 점수를 달성하여 기존 방법보다 42%-217% 더 뛰어난 성능을 보였습니다. 나아가 우리는 TRACER의 개별 구성 요소들의 기여도를 평가하기 위해 절제 연구 (ablation studies) 및 오류 분석 (error analysis)을 수행합니다.