GitHub 저장소 내 AI 사용의 특성 및 진화에 관한 실증적 연구: 코드 주석을 통한 증거

개발자들은 일상적인 소프트웨어 워크플로우에서 ChatGPT, Copilot, Claude와 같은 AI 도구를 점점 더 많이 사용하고 있지만, 이전 연구들은 개발자들이 실제 프로젝트에서 이러한 도구들을 어떻게 적응시키는지 조사하기보다는 LLM (Large Language Model) 출력을 개별적으로 평가하는 경우가 많았습니다. 우리는 AI 사용을 명시적으로 언급하는 35,361개의 GitHub 코드 주석(code comments)과 그와 관련된 코드 블록(code blocks)을 분석합니다. 먼저 500개의 고유한 주석과 코드 블록을 오픈 코딩(open-code)하여 AI 보조 개발 활동의 분류 체계(taxonomy)를 도출한 다음, 두 개의 LLM 기반 분류기를 사용하여 전체 데이터셋을 주석 처리하고 Dawid-Skene 기대값 최대화(expectation-maximization) 알고리즘으로 예측값을 집계합니다. 또한, AI 보조 코드가 도입된 후 어떻게 진화하는지 연구하기 위해 12,996개의 후속 커밋 메시지(commit messages)를 분석하며, 2022년 12월부터 2026년 3월까지의 시간적 추세를 조사합니다. 연구 결과에 따르면 개발자들은 주로 코드 구현(code implementation)을 위해 LLM을 사용하며, 그 뒤를 이어 코드 개선(code enhancement), 디버깅(debugging), 문서화(documentation), 테스트(testing) 순으로 사용합니다. 후속 커밋은 리팩터링(refactoring) 및 정리(cleanup), 기능 통합 및 확장(feature integration and extension), 버그 수정(bug fixing)을 빈번하게 포함하며, 이는 AI 보조 코드를 적응시키는 과정에서 지속적인 인간의 감독(human oversight)이 이루어지고 있음을 나타냅니다. 시간이 흐름에 따라 AI를 언급하는 주석은 직접적인 코드 생성(code generation)에서 지식 및 개념적 지원(knowledge and conceptual support)과 코드 개선(code enhancement)으로 변화합니다. 이러한 발견은 AI 도구가 단순한 코드 생성 보조 도구로서뿐만 아니라, 시간이 지남에 따라 개발자에 의해 결과물이 정제되고 확장되며 수정되는 협업 지원 메커니즘으로서 내재화되고 있음을 시사합니다.