GUI 테스트에서 대화형 상호작용으로: 앱별 음성 비서에 대한 새로운 관점

요약

본 논문은 GUI 테스트 코드를 재활용하여 앱별 음성 비서 개발을 자동화하는 LLM 기반 접근 방식을 제안합니다. 기존의 시스템 수준 서비스 방식이 가진 높은 유지보수 비용 문제를 해결하고자 합니다. 이 방법은 테스트 코드를 동작 보존적 사양으로 간주하고, 이를 음성 의도나 실행 가능한 액션 플랜 같은 앱별 VA 아티팩트로 변환하는 데 중점을 둡니다.

핵심 포인트

• GUI 테스트 코드 재활용을 통한 음성 비서 자동화 접근법 제시
• 테스트 코드를 애플리케이션 동작의 사양으로 활용
• LLM이 GUI 테스트와 대화형 상호작용 간의 다리 역할 수행
• Android 기반 연구 프로토타입 AppVA를 통해 구현 시연