SWE-Touch: 사용자가 코드를 수정할 때 코딩 에이전트의 성능 벤치마킹

요약

사용자와 코딩 에이전트가 공유 작업 공간에서 협업할 때 발생하는 성능 저하를 측정하는 새로운 벤치마크 프레임워크 SWE-Touch를 소개합니다. 사용자의 코드 수정(Counter-Edits)이 에이전트의 작업에 미치는 영향을 분석하여, 현재 에이전트들의 상태 인식 및 적응적 행동 능력이 부족함을 입증했습니다.

핵심 포인트

• SWE-Touch: 공유 작업 공간 내 에이전트 성능 평가를 위한 프레임워크
• 사용자의 코드 수정(Counter-Edits) 시 에이전트 해결률이 평균 7.7%p 하락
• 에이전트가 변화하는 작업 공간의 문맥을 충분히 인식하지 못하는 문제 발견
• 향후 에이전트 개발 시 작업 공간 변경 사항 탐지 및 조정 능력 필요