ATGBuilder: 시드 감독(Seed Supervision)을 통한 활동 전이 그래프(Activity Transition Graph)

요약

ATGBuilder는 시드 감독 기반의 링크 예측을 통해 고품질의 활동 전이 그래프(ATG)를 구축하는 새로운 연구 방법론을 제안합니다. LLM을 활용해 UI 메타데이터를 요약하고 위젯-트리거 정보를 보조 학습에 활용하여 기존 방식보다 뛰어난 성능을 보여줍니다.

핵심 포인트

• LLM을 이용한 UI 활동 메타데이터의 텍스트 요약 기능 활용
• 위젯-트리거 정보를 엣지 속성으로 명시적 모델링
• 보조적인 위젯-속성 재구성 목적 함수를 통한 학습 최적화
• 기존 SOTA 모델 대비 뛰어난 ATG 구축 성능 입증
• 자동화된 GUI 탐색 도구의 성능 개선 효과 확인