Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Amazon Lex 태스크 기반 챗봇의 품질을 평가하기 위한 자동화된 모델 기반 테스트 기법인 LexTester를 제안합니다. 대화 그래프를 생성하여 다양한 커버리지 전략에 따른 테스트 스위트를 구축하며, 기존 도구인 Botium보다 높은 결함 탐지 성능을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기태스크 기반 챗봇 (Task-based chatbots)은 오늘날 널리 채택되는 소프트웨어 시스템으로, 대화형 인터페이스를 통해 사용자가 작업을 완료할 수 있도록 돕기 위해 설계되어 보통 실제 애플리케이션 및 통신 채널에 통합됩니다. 다른 모든 소프트웨어와 마찬가지로 챗봇 또한 버그가 발생하기 쉽습니다. 일상 활동에서 그 보급률이 증가하고 있음에도 불구하고, 챗봇의 품질을 평가하기 위한 기존 기법들은 생성된 테스트 시나리오의 단순함이나 오라클 (oracle)의 취약성과 같은 몇 가지 한계를 여전히 보여주고 있습니다. 본 논문에서는 Amazon Lex 챗봇을 위한 자동화된 모델 기반 테스트 (model-based testing) 기법인 LexTester를 제시합니다. 이 기법은 테스트 대상인 챗봇의 대화 공간을 탐색하여 가능한 모든 상호작용의 대화 그래프 (Dialog Graph)를 생성하며, 이를 바탕으로 다양한 커버리지 전략 (coverage strategies)에 따라 실행 가능한 테스트 스위트 (test suite)를 생성합니다. LexTester는 5개의 Amazon Lex 챗봇을 대상으로 현재 업계 표준인 챗봇 테스트 도구 Botium과 비교 평가되었으며, 모든 항목에서 일관되게 이를 능가하는 성능을 보였습니다. 구체적으로, 거의 두 배에 달하는 복잡성을 가진 더 많은 테스트를 생성하였고, 대화 요소의 전반적인 커버리지 (coverage) 83-95%를 달성하였으며, 유사한 시간 비용 내에서 결함 탐지 효과를 최대 4배까지 향상시켰습니다.