Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 LLM 사용 증가에 따라 AI 개입 코드를 탐지하는 새로운 프레임워크를 제안합니다. 기존 방식의 단일 점수화 한계를 극복하고, 토큰 수준에서 AI 저작성을 모델링하여 라인 및 블록 단위로 국소적 증거를 포착합니다. 이 방법은 혼합 저작성 파일과 외부 벤치마크에서 높은 성능을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델(LLM)이 코드 생성에 점점 더 많이 사용됨에 따라, 순수하게 인간이 작성한 코드와 AI가 개입된 코드를 구별하는 방법론이 요구되고 있습니다. 여기서 'AI 개입 코드'란 파일의 어느 부분이든, 아무리 작더라도 모델에 의해 생성되거나 실질적으로 수정된 파일을 의미합니다. 단순히 그러한 파일을 플래그 지정(flagging) 하는 것을 넘어, AI가 작성했거나 기여한 라인 또는 블록을 위치 파악하는 것이 목표입니다. 기존 접근 방식들은 파일 전체를 단일 점수(score)로 압축하는데, 이는 표면적인 스타일적 특징이나 전역 코드 표현(global code representation)에 기반하며, 실제로 몇몇 블록만 AI가 개입된 경우 그 증거를 평균화하여 희석시킵니다. 우리는 AI 저작성을 토큰 수준에서 모델링하고 라인, 블록, 파일 수준에서 예측하는 프레임워크를 제안합니다. 동결된 코드 언어 모델(frozen code language model)에 두 개의 낮은 순위 어댑터(low-rank adapters)를 장착하며, 이는 기계가 작성한 파일과 인간이 작성한 파일을 각각 분리하여 학습시킵니다. 이들의 토큰별 로그 우도비(per-token log-likelihood ratio)는 AI 저작성에 대한 국소적 증거를 제공합니다. 경량 헤드(Lightweight heads)들이 주변 코드 컨텍스트를 사용하여 라인과 블록 내에서 이러한 증거들을 집계하며, 이들의 국소적 예측값들은 파일 수준의 결정으로 종합됩니다. 우리는 인간이 작성한 원본 코드와 그에 AI가 생성하거나 수정된 대응 코드를 포함하는 혼합 저작성(mixed-authorship) 파일을 사용하여 학습합니다. 여기에는 연속(continuation) 시나리오와 중간 채우기(fill-in-the-middle) 시나리오가 포함됩니다. 6가지 생성 레짐(generation regimes)에 걸쳐 총 11,773개의 AI 개입 파일과 2,541개의 인간 파일을 포함하는 내부 테스트 세트에서, 우리의 방법은 1%의 FPR(False Positive Rate) 작동 지점에서 72.4의 매크로 F1 점수를 달성합니다. 적응 없이도, 별도의 학습 분할이 없는 외부 인간-AI 공동 작성 벤치마크인 HybridCodeAuthorship에서 라인 수준 F1 점수 62.5를 기록하며, 이는 본 논문에서 가장 높은 라인 수준 결과로 보고된 56을 능가합니다. 2022년 이전에 생성된 저장소의 19,445개 인간 작성 파일에 대해서는, 운반된(transported) 1% 임계값 하에서도 오탐률이 0.55%에서 0.81% 사이를 유지하여, 작동 지점이 실제 인간 코드에서도 유효함을 보여줍니다.