DeltaReplay: 모바일 GUI 에이전트를 위한 태스크 상대 메모리 재사용

원문 발행 2026. 10. 08. 20:12원문 언어 영어AI 한국어 번역arXiv cs.AI 원문 보기

요약

본 논문은 모바일 GUI 환경에서 메모리 증강 에이전트의 한계를 극복하기 위해 DeltaReplay라는 단계별(step-level) 메모리 재사용 프레임워크를 제안합니다. 이 프레임워크는 기존 메모리를 수정하지 않으면서, 새로운 태스크와의 관계에 기반하여 기록된 궤적 중 재사용 가능한 부분을 결정합니다. 실험 결과, AndroidWorld와 SPA-Bench에서 기본 에이전트 대비 높은 태스크 성공률 향상을 입증했습니다.

핵심 포인트

DeltaReplay는 단계별 메모리 재사용 프레임워크입니다.
재사용 가능성은 새로운 태스크와의 관계에 의해 결정됩니다.
페이지 일관성과 액션 일반성을 포착하여 궤적을 저장합니다.
AndroidWorld와 SPA-Bench에서 높은 성공률 향상을 보였습니다.

메모리를 증강한(Memory-augmented) 모바일 GUI 에이전트는 성공적인 실행 궤적을 저장하고 이를 나중에 다른 태스크에서 재사용하지만, 저장된 궤적이 새로운 태스크와 정확히 일치하는 경우는 드뭅니다. 새로운 태스크는 다른 매개변수를 사용하거나, 저장된 궤적의 일부 단계만 공유할 수 있으며, 메모리에 관련 기록이 없을 수도 있습니다. 에이전트에게 관련 없는 메모리를 사용하도록 강제하면 오도될 수 있고, 여전히 유용할 수 있는 메모리를 폐기하면 과거 경험으로부터 오는 지도를 박탈하게 됩니다. 이러한 딜레마를 해결하기 위해, 우리는 기존 메모리를 수정하지 않으면서 어떻게 사용할지 결정하는 단계별(step-level) 메모리 재사용 프레임워크인 DeltaReplay를 제안합니다. 우리는 저장된 기록의 재사용 가능한 부분이 그 기록 자체에 의해서가 아니라 새로운 태스크와의 관계에 의해 결정되며, 이는 주로 페이지 수준 일관성(page-level consistency)과 액션 수준 일반성(action-level generality)이라는 두 가지 요인을 통해 이루어진다는 것을 관찰합니다. 따라서 우리는 실행 궤적을 전이 그래프(transition graph) 상의 경로로 저장하며, 이 그래프의 노드(페이지)와 엣지(페이지 간 액션)가 이 두 가지 요인을 포착합니다. 재사용 시점에는 각 엣지의 액션을 태스크 독립적인 연산과 태스크 특정 매개변수로 분할합니다. DeltaReplay는 그런 다음 기록된 각 단계를 새로운 태스크 및 현재 화면과 비교하여, 이를 따라갈지, 매개변수를 대체한 후 실행할지, 아니면 기본 에이전트에게 맡길지를 결정합니다. AndroidWorld와 SPA-Bench에서 DeltaReplay는 동일한 백본(backbone)을 가진 기본 에이전트 대비 각각 최대 10.3%와 25.0% 포인트까지 태스크 성공률을 향상시킵니다. 이러한 결과는 각 단계에서 검색된 메모를 어떻게 사용할지 결정하는 것이 에이전트가 부분적으로 일치하는 궤적에서도 이점을 얻도록 한다는 것을 보여줍니다.

AI 자동 생성 콘텐츠

원문 바로가기

DeltaReplay: 모바일 GUI 에이전트를 위한 태스크 상대 메모리 재사용

요약

핵심 포인트

댓글