동일한 신호, 다른 의미: 소프트웨어 엔지니어링 에이전트에 대한 프레임워크 간 행동 분석

요약

본 연구는 소프트웨어 엔지니어링(SE) 에이전트의 행동 패턴과 문제 해결 성능 사이의 상관관계를 분석합니다. 43개 프레임워크와 126개 에이전트 구성을 대상으로 실험한 결과, 특정 프레임워크에서 유효한 행동 규칙이 다른 프레임워크에서는 정반대의 의미를 가질 수 있음을 발견했습니다. 따라서 단일 프레임워크의 연구 결과를 일반화하기 전에 반드시 다양한 구성 간 검증이 필요함을 강조합니다.

핵심 포인트

• 동일한 행동 신호(예: 오류율)라도 에이전트 프레임워크에 따라 문제 해결 성능과의 상관관계가 정반대로 나타날 수 있음
• 에이전트의 행동 변동성은 LLM 모델 자체보다 사용된 프레임워크에 의해 더 크게 좌우됨
• 평균 턴(mean turns) 분산의 64%가 프레임워크 차이에서 기인함
• 소프트웨어 엔지니어링 에이전트 연구 시 단일 프레임워크를 넘어선 교차 구성 검증(cross-configuration validation)이 필수적임