LLM 기반 코드 탐지: SemEval-2026 Task 13 분석

본 문서는 SemEval-2026 Task 13의 핵심 과제인 '기계 생성 코드(Machine-Generated Code) 탐지'에 대한 연구 접근 방식을 소개합니다. 이 태스크는 단순히 코드가 기계가 생성했는지 여부를 판단하는 이진 분류 문제에 그치지 않고, 훨씬 복잡하고 다각적인 분석을 요구합니다.

1. 과제의 복합성 및 범위:
SemEval-2026 Task 13은 여러 각도에서 코드 탐지라는 도전을 제시합니다. 주요 하위 태스크들은 다음과 같은 고차원적인 문제를 포함합니다:

• 소스 출처 추적 (Attribution of the source): 코드가 어디서 왔는지 근본적인 원인을 파악해야 합니다.
• 생성 모델 식별 (Generator LLM family detection): 어떤 종류의 대규모 언어 모델(LLM) 계열이 해당 코드를 생성했는지까지 탐지해야 하는 경우도 있습니다.
• 하이브리드 및 적대적 코드: 인간과 기계가 공동으로 작성한 '하이브리드 코드'나, 출처를 숨기기 위해 의도적으로 변조된 '적대적(adversarially modified) 코드'까지 탐지해야 하는 복합적인 시나리오에 대응합니다.

2. 연구 방법론의 조정:
제안된 시스템은 기존에 널리 사용되던 mdok 접근 방식(주로 기계 생성 텍스트 탐지에 초점을 맞춤)을 이처럼 특화되고 복잡한 코드 문제에 맞게 조정했습니다. 핵심 전략은 **코드 이해에 더 적합한 다양한 기본 모델(base models)**을 탐색하고 활용하는 것이었습니다.

3. 결과 및 향후 과제:
연구 결과, 제안된 시스템은 세 가지 하위 태스크 모두에서 경쟁력 있는 성능을 입증했습니다. 그러나 주목할 점은 최고 성능을 달성한 시스템들과의 **점수 차이(margins)**가 상당히 크다는 것입니다. 이는 현재 접근 방식에 한계가 있음을 시사하며, 더 높은 정확도를 위해 추가적인 개선 작업이 가능함을 의미합니다.

결론적으로, 이 연구는 코드 탐지 분야의 복잡성을 명확히 보여주며, 단순한 분류를 넘어 출처 추적 및 모델 식별까지 아우르는 다차원적인 접근 방식의 중요성을 강조하고 있습니다.