코드 세계를 위한 글로벌 저자 식별 맵: 58.7억 커밋에 걸친 10682만 개 작성자 문자열에서 추출한 6270만 명의 개발자 신원
요약
본 논문은 전 세계 소프트웨어 저장소의 커밋 데이터를 분석하여, 동일 개발자가 여러 ID로 기여한 문제를 해결하는 글로벌 작성자 식별 맵을 공개합니다. 이 맵은 10682만 개의 원시 문자열을 표준 신원으로 통합하고, 58억 개 이상의 커밋에 대한 높은 인간 ID 커버리지를 달성했습니다. 연구는 단순 합집합 방식의 한계를 지적하며 클럼핑 문제를 강조합니다.
핵심 포인트
- 글로벌 작성자 식별 맵 공개: 10682만 원시 문자열을 표준 신원으로 통합함.
- 커밋 데이터 분석을 통해 인간 ID 커버리지를 98.17%까지 높임.
- 단순 합집합 방식의 한계(클럼핑)를 지적하며, 오버-머지 위험성을 경고함.
- 표준 소프트웨어-작성자 신원은 학술 저자 그래프의 교차 조인 키로 활용 가능함.
전 세계적인 규모로 소프트웨어 저장소를 마이닝할 때, 작성자 식별자가 핵심입니다. 즉, 동일한 개발자가 여러 이름/이메일 문자열로 커밋하고, 반대로 동일한 문자열을 여러 개발자가 재사용한다는 것입니다. 우리는 모든 58억 6,659만 5,698개 커버하는 World of Code (WoC) 버전 V2604에 대한 정제된 작성자 식별 맵을 공개합니다. 이 맵은 네 가지 공동 버전화된 아티팩트를 포함합니다: 원시적인 작성자/커미터 문자열 106,826,059개를 표준 신원(canonical identities)으로 통합하는 글로벌 별칭 맵 (a2AFullSUG); 각 ID를 good, bad-by-attribute, local, bot 또는 partial로 태그하는 개별 식별자 분류 (A2clsFull); 재사용이 모호하지 않은 단일 프로젝트 내에서 낮은 품질의 ID를 복구하는 프로젝트별 테이블 (P2aAFull); 그리고 모든 커밋에 그 해결 출처(resolution provenance)를 태그하는 커밋-대-식별자 테이블 (c2AFull). 이 맵은 메가 클러스터가 없으며, 가장 큰 클러스터는 6,910개의 ID(하나의 GitHub noreply 신원)입니다. 또한 60억 개의 커밋 중 73.5%를 다중 ID 신원으로 해결하여 인간 ID 커밋 커버리지를 98.17%로 높였습니다. 설계 문제는 재현율(recall)이 아니라 클럼핑(clumping) 문제입니다: 공유 속성 간의 단순한 전이적 합집합은 관련 없는 세 백만 명의 사람들을 하나의 클러스터로 묶어버리는데, 이는 오버-머지(over-merge)이며 재현율만을 측정하는 벤치마크에서는 0으로 평가됩니다. 우리는 분할(splitting)과 클럼핑(clumping)이라는 두 가지 오류 유형을 모두 보고하며, 글로벌 규모의 합집합 맵이 주장하는 높은 정밀도(precision)가 결합된 영역을 측정하지 않았기 때문에 아티팩트일 수 있음을 보여줍니다. ALFAA 인간 평가 골드 세트에 대해 이 맵은 재현율 0.70 / 정밀도 0.88을 기록했으며, 이전 WoC 맵의 명백한 0.95 정밀도는 그 3,006,318개 ID 메가 클러스터가 계산되자 0.52로 급락합니다. 표준 소프트웨어-작성자 신원은 학술 저자 그래프에 대한 교차 코퍼스 조인 키(cross-corpus join key)이기도 하며, 여기에서도 클럼핑이 다시 제약 조건입니다. 모든 아티팩트는 WoC V2604 릴리스와 자체 포함 복제 패키지와 함께 제공됩니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기