LLM이 터미널 사용자 인터페이스(TUI)를 테스트할 수 있는가?

요약

LLM을 활용한 터미널 사용자 인터페이스(TUI) 테스트의 가능성을 조사한 연구입니다. 197개의 실제 TUI 애플리케이션을 대상으로 LLM과 무작위 탐색 방식을 비교 분석하여, LLM이 특정 결함 발견에 효율적이지만 아직 완벽한 해결책은 아님을 밝혀냈습니다.

핵심 포인트

• LLM은 입력이 필요한 결함(input-gated faults)을 찾는 데 효율적임
• 무작위 탐색 방식은 높은 처리량을 바탕으로 크래시 발견에 강력한 베이스라인 제공
• 실행 입력을 자동으로 도출하는 것이 TUI 테스트의 가장 큰 실질적 이득
• 라인 커버리지는 크래시 발견을 예측하는 지표로서의 기능이 약함
• TUI 테스트 도구인 tuicov와 프레임워크 tuibot 공개