SWE-Touch: 사용자가 코드를 수정할 때 코딩 에이전트의 성능 벤치마킹
요약
사용자와 코딩 에이전트가 공유 작업 공간에서 협업할 때 발생하는 성능 저하를 측정하는 새로운 벤치마크 프레임워크 SWE-Touch를 소개합니다. 사용자의 코드 수정(Counter-Edits)이 에이전트의 작업에 미치는 영향을 분석하여, 현재 에이전트들의 상태 인식 및 적응적 행동 능력이 부족함을 입증했습니다.
핵심 포인트
- SWE-Touch: 공유 작업 공간 내 에이전트 성능 평가를 위한 프레임워크
- 사용자의 코드 수정(Counter-Edits) 시 에이전트 해결률이 평균 7.7%p 하락
- 에이전트가 변화하는 작업 공간의 문맥을 충분히 인식하지 못하는 문제 발견
- 향후 에이전트 개발 시 작업 공간 변경 사항 탐지 및 조정 능력 필요
실제 소프트웨어 개발에서는 코딩 에이전트(coding agents)가 사용자가 작업 도중 코드를 검토하거나 수정할 수 있는 공유 작업 공간(shared workspaces)에서 작동해야 합니다. 그러나 기존의 리포지토리 수준(repository-level) 벤치마크는 일반적으로 에이전트가 단독으로 작업하는 상황을 평가하거나, 사용자의 참여를 메시지 전달로만 제한합니다. 이는 다음과 같은 질문을 던지게 합니다: 코딩 에이전트는 공유 작업 공간에서의 코드 변경 사항을 어떻게 이해하고 대응하는가? 우리는 검증된 카운터 에디트(Counter-Edits: 작업 완료와 충돌하는, 작업 관련 코드에 대한 그럴듯한 수정)를 통해 이러한 환경을 스트레스 테스트하는 프레임워크인 SWE-Touch를 소개합니다. SWE-Touch는 여러 복구 궤적(repair trajectories)에서 작업에 중요한 영역을 추출하고, 별도의 사용자 패치 생성기(User Patch Generator)를 사용하여 수정을 구성하며, 에이전트가 관련 코드에 도달했을 때 문맥적인 사용자 메시지와 함께 이를 주입합니다. 우리는 SWE-bench Verified에서 9개의 코딩 모델을 평가하였으며, SWE-Bench Pro 및 DeepSWE의 장기적 과제(longer-horizon tasks)를 대상으로 추가 실험을 진행했습니다. 카운터 에디트(Counter-Edit)는 SWE-bench Verified에서 평균 해결률(resolve rate)을 7.7%포인트 낮추었으며, 이러한 성능 저하는 두 장기적 벤치마크 모두에서 지속되었습니다. 궤적 분석(Trajectory analysis) 결과, 이러한 실패는 진화하는 작업 공간에 대한 제한된 인식(awareness)과 연결되어 있음이 밝혀졌습니다. 즉, 에이전트가 충돌하는 코드를 그대로 유지하거나, 리포지토리를 충분히 재검토하고 타겟 테스트(targeted tests)를 통해 수정된 코드를 검증하지 않은 채 코드를 교체할 수 있다는 것입니다. 이러한 발견은 강력한 자율적 성능이 공유 작업 공간 협업에 필요한 상태 인식(state awareness) 및 적응적 행동(adaptive behavior)을 아직 보장하지 못한다는 것을 보여주며, 향후 최적화를 위한 핵심 역량으로 작업 공간 변경 사항 탐지, 작업과 충돌하는 수정 사항의 조정, 그리고 영향을 받는 동작의 검증을 제시합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기