심슨의 역설을 넘어: AI 에이전트 Pull-Request 공동 저자 관계에 나타나는 교란 요인의 연쇄 작용

요약

AI 코딩 에이전트의 공동 저자(Co-authored-by) 표시와 PR 머지율 사이의 상관관계를 분석한 연구입니다. 심슨의 역설을 통해 단순 통계가 에이전트 성능을 오도할 수 있음을 밝히고, 선택 편향과 PR 구조가 미치는 영향을 입증했습니다.

핵심 포인트

• 단순 집계 시 AI 공동 저자 PR의 머지율이 낮아 보이나, 심슨의 역설이 존재함
• 에이전트 종류(Copilot, Devin 등)에 따라 데이터가 편향되어 나타남
• 저장소 및 커밋 횟수 통제 시 에이전트의 공동 저자 효과는 대부분 소멸함
• 통계적 상관관계가 인과적 이득이 아닌 선택 편향의 결과일 수 있음을 경고