산업적 의사결정 과업을 위한 LLM 기반 대화형 인터페이스와 그래픽 인터페이스 비교: 탐색적 혼합 방법론 연구

데이터에 접근하고 분석하는 새로운 방식으로서 생성형 AI 대화형 사용자 인터페이스 (Conversational User Interfaces, CUI)의 사용이 모든 분야에서 증가하고 있으며, 산업 분야도 예외는 아닙니다. 해당 분야에서는 IoT 장치에 의해 생성된 방대한 양의 데이터가 사용자 인터페이스를 통해 흐르고 있으며, 의사결정자들의 새로운 분석 요구 사항에 맞춰 인터페이스의 새로운 적응이 필요할 수 있습니다. LLM 기반 CUI는 모든 GUI (Graphical User Interface) 설계가 가진 학습 비용 없이, 자연어의 직접성을 통해 해당 데이터와 직접 상호작용할 수 있는 새로운 방법을 약속합니다. 또한, LLM의 능력과 에이전시 (Agency)는 일부 과업을 자동화하고 의사결정 활동 중 추론을 도울 수 있는 가능성을 열어줍니다. 하지만 이러한 약속들은 근거가 충분할까요? 우리는 최신 대시보드 (Dashboard)와 대화형 에이전트 (Conversational Agent)를 비교하는 혼합 접근 방식 (Mixed-approach) 연구를 통해 이 일반적인 질문의 범위를 설정하고자 합니다. 총 20명의 참가자가 다양한 복잡성을 가진 4가지 시뮬레이션된 산업적 의사결정 과업을 완료하기 위해 두 인터페이스를 모두 사용했습니다. 우리는 정신적 부하 (Mental workload), 완료 시간 (Completion time), 의사결정 정확도 (Decision accuracy) 측정치를 연구 후 설문조사 및 주제 분석 (Thematic analysis)을 통해 분석된 반구조화된 인터뷰와 결합했습니다. 연구 결과에 따르면, 대화형 에이전트는 정보에 대한 더 직접적인 접근을 지원함으로써 상호작용 노력 (Interactional effort)을 줄일 수 있는 반면, 대시보드는 개요 파악 및 검증을 위해 여전히 가치가 있는 것으로 나타났습니다. 그러나 이러한 이점은 과업에 따라 다를 수 있으며, 더 큰 규모의 연구를 통한 검증이 필요합니다.