SWE-Journey: 장기 지평 및 다중 턴 상호작용을 통한 코딩 어시스턴트의 현실적 평가 방향

요약

본 기사는 기존 코딩 어시스턴트 벤치마크가 실제 개발 환경과 괴리가 크다고 지적하며, 이를 해결하기 위한 새로운 평가 프레임워크 SWE-Journey를 소개합니다. 이 벤치마크는 장기 작업 지평을 자동 구성하는 파이프라인과 사용자 시뮬레이션 에이전트를 활용하여 현실적인 코딩 지원 상호작용을 재현합니다.

핵심 포인트

• SWE-Journey는 실제 개발 환경에 근접한 새로운 평가 벤치마크입니다.
• 장기 작업 지평 해결을 위해 weak-to-strong 합성 파이프라인을 사용했습니다.
• 사용자 시뮬레이션 에이전트를 통해 현실적인 다중 턴 상호작용을 재현합니다.
• 코딩 어시스턴트는 비개발자에게 신뢰할 수 있는 코드를 제공하는 데 부족함이 확인되었습니다.