최근AI 코딩 에이전트가 대규모로 도입되고 있지만, 실제 사용 환경에서의 활용도와 유용성에 대한 실증적

요약

본 논문은 실제 오픈 소스 개발자들의 작업 환경에서 수집한 대규모 코딩 에이전트 상호작용 데이터셋 'SWE-chat'을 소개합니다. 현재 6,000개의 세션과 35만 건의 도구 호출을 포함하는 이 데이터셋은 살아있는(living) 형태를 지니고 있어 지속적인 업데이트가 가능합니다. 분석 결과, 코딩 패턴이 양극화되어 있으며, 에이전트가 생성한 코드 중 실제 커밋으로 반영되는 비율은 44%에 불과하고, 심지어 인간이 작성한 코드보다 보안 취약점을 더 많이 유발하는 것으로 나타났습니다. 또한 사용자들은 전체 상호작용의 44%에서 에이전

핵심 포인트

• SWE-chat은 실제 오픈 소스 개발 환경에서 수집된 대규모 코딩 에이전트 세션 데이터셋입니다.
• 분석 결과, 에이전트가 작성한 코드 중 실제로 커밋되는 비율은 44%에 불과합니다.
• 코딩 패턴은 양극화되어 있으며, 에이전트가 대부분의 코드를 작성하거나(41%), 인간이 모든 코드를 직접 작성하는(23%) 경향을 보입니다.
• 에이전트 생성 코드는 인간 코드보다 보안 취약점을 더 많이 포함하는 것으로 나타났습니다.