PrivacyPR: 개인정보 보호 인식 코드 검토 벤치마킹을 위한 실제 세계의 개인정보 수정 데이터셋
요약
PrivacyPR은 2018년부터 2024년까지의 GitHub PR 데이터를 활용하여 개인정보 보호 결함(privacy defects)을 검토하는 코딩 에이전트 성능을 측정하기 위한 대규모 데이터셋입니다. 이 데이터셋은 실제 개발 과정에서 발생하는 개인정보 수정 사항과 검토 맥락을 제공하며, AI 모델의 사생활 침해 코드 리뷰 능력을 벤치마킹합니다.
핵심 포인트
- PrivacyPR은 1,469개 저장소의 4,131개 PR로 구성된 대규모 데이터셋입니다.
- 코딩 에이전트는 개인정보 확인을 명시적으로 요청받았을 때 결함 탐지율이 크게 향상됩니다 (88~91%).
- 결함 탐지는 검토 의도에 크게 의존하며, 여전히 오경보(false alarms)가 발생할 수 있습니다.
- 데이터셋은 개인정보 결함의 발생 및 수정 과정을 연구하는 경험적 근거를 제공합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기