SrDetection: 코드 거대 언어 모델 (Code LLMs)의 데이터 누출 탐지를 위한 자기 참조 (Self-Referential)

요약

Code LLM의 벤치마크 성능이 인위적으로 부풀려지는 데이터 누출 문제를 해결하기 위한 새로운 프레임워크 SrDetection을 제안합니다. 모델의 로짓이나 출력에 접근하는 방식에 따라 그레이박스 및 블랙박스 설정 모두에서 작동하며, 의미론적 변형을 통해 누출을 효과적으로 탐지합니다.

핵심 포인트

• 데이터 누출 탐지를 위한 통합 자기 참조(Self-Referential) 프레임워크 제안
• 그레이박스 및 블랙박스 설정 모두 지원하여 범용성 확보
• 기존 방식 대비 F1 점수를 최대 21.52포인트 향상
• 임계값에 의존하지 않는 견고한 누출 탐지 성능 입증
• 15개 Code LLM 분석을 통해 새로운 누출 패턴 발견