동일한 신호, 다른 의미: 소프트웨어 엔지니어링 에이전트에 대한 프레임워크 간 행동 분석

LLM (Large Language Model) 기반 소프트웨어 엔지니어링 (Software Engineering) 에이전트에 대한 행동 연구들은 어떤 궤적(trajectory) 형태가 더 높은 문제 해결률과 상관관계가 있는지에 대한 운영 규칙을 추출합니다. 예를 들어, 코드 수정 뒤에 테스트 단계가 뒤따르는 것, 오류 연쇄(error cascades)가 짧은 것, 또는 궤적이 압축적인 것 등이 있습니다. 각 규칙은 일반적으로 단일 프레임워크 (framework)에서 도출되며, 이러한 규칙이 구조적으로 다른 에이전트 설계로 전이될 때 (부호와 크기 모두에서) 유효한지는 직접적으로 테스트된 바 없습니다. 우리는 이를 생태계 규모에서 다룹니다. 43개의 프레임워크에 걸친 126개의 에이전트 구성으로부터 얻은 64,380개의 SWE-bench 실행 데이터를 사용하며, 각 구성은 LLM과 도구 및 워크플로 (workflow)를 제공하는 프레임워크 (예: SWE-Agent, OpenHands)를 쌍으로 결합합니다. 우리는 각 계층을 차례로 고정함으로써 프레임워크 효과와 LLM 효과를 분리하며, 그런 다음 구성당 하나의 행동-결과 효과를 측정하고 해당 효과들이 어떻게 일치하거나 불일치하는지 조사합니다. LLM을 고정한 채 프레임워크를 교체하면 모든 행동 특징 (action feature)에서 큰 행동 차이가 발생합니다. 대부분의 신호에서 구성들은 단순히 크기뿐만 아니라 방향에서도 불일치를 보입니다. 오류율 (error rate)이 가장 명확한 사례입니다. 47개의 구성은 오류율이 낮을 때 더 많은 문제를 해결하는 반면, 48개는 오류율이 높을 때 더 많은 문제를 해결합니다. 이전 소프트웨어 엔지니어링 (SE) 문헌에서 제시된 다른 5개의 연속적 특징과 7개의 이진 패턴 중 3개도 유사한 방향적 불일치를 보여줍니다. 프레임워크의 정체성은 LLM 제품군 (LLM family)보다 이러한 변동성을 더 많이 설명합니다. 평균 턴 (mean turns)의 경우, LLM의 10%와 비교하여 프레임워크가 구성 간 분산의 64%를 설명합니다. 이는 동일하게 관찰 가능한 행동 신호라도 서로 다른 에이전트 구성에 따라 정반대의 의미를 가질 수 있음을 시사합니다. 따라서 단일 프레임워크에서 얻은 행동 연구 결과는 일반적인 것으로 주장하기 전에 반드시 구성 간 검증 (cross-configuration validation)을 거쳐야 합니다.