모든 경험이 가중치에 속하는 것은 아니다: 자가 개선 GUI 에이전트를 위한 컴포넌트 라우팅

자가 개선(Self-improving) GUI 에이전트는 자신이 생성한 궤적(trajectories)을 보존하고 이를 에이전트에게 반환합니다. 이는 파인튜닝(fine-tuning) 또는 프롬프트에 대한 검색(retrieval) 방식을 통해 이루어지며, 두 목적지를 비교하는 연구들 사이에는 의견 불일치가 존재합니다. 우리는 이러한 차이가 경험의 단위에서 비롯된다고 생각합니다. 궤적은 서로 다른 속성을 가진 항목들을 묶음으로 포함하므로, 이 묶음에 대한 결론은 그 혼합에 따라 달라집니다. 이를 해결하기 위해, (i) 우리는 컴포넌트 라우팅(component routing)을 도입하여 경험을 로케이터(locators), 프로시저(procedures), 상태 사실(state facts), 교훈(lessons)으로 분할하고, 각 컴포넌트를 컨텍스트 또는 가중치로 보내 처리합니다. 이는 세 가지 백본 패밀리(backbone families)에 걸쳐 동일한 항목들을 비교하여 수행되었습니다. 한 풀에서는 두 개의 목적지를 가지고 있으며, 로케이터와 교훈은 가중치에서 승리했고, 프로시저와 상태 사실은 컨텍스트에서 승리했습니다. (ii) 우리는 훈련 전에 측정된 두 가지 속성(재귀 및 상태 조건성)에 규칙을 적용하여, 이 규칙이 24개 중 24개의 셀에서 제외된 백본 패밀리의 목적지를 복구하는 것을 확인했습니다. 두 개의 개입은 컴포넌트를 경계 쪽으로 이동시켰고, 이 규칙을 통한 라우팅은 모든 전체 궤적(whole-trajectory) 기준선보다 우수했으며, 평균 +3.5점에서 각 백본의 최상의 단일 목적지보다 더 나았습니다. (iii) 우리는 훈련과 생산자-소비자(producer-consumer) 차이가 두 목적지의 가치를 어떻게 변화시키는지 식별했습니다. 주목할 점은 동일한 컴포넌트가 가중치에 기록된 후에는 리드아웃(readout)이 감소한다는 것이며, 이는 가장 많이 재귀하는 항목에서 가장 두드러집니다. 컨텍스트 이득(context gains)은 정보 격차(information gap)와 함께 증가하고, 가중치 이득(weights gains)은 정책 격차(policy gap)와 함께 감소합니다. 코드와 데이터는 공개될 예정입니다.