대체제도 만병통치약도 아닌: 산업 작업에서의 LLM 기반 대화형 및 그래픽 의사결정 지원 비교

제조 환경의 관리자들은 의사결정을 위해 운영 데이터를 해석하는 디지털 인터페이스에 의존하지만, 증가하는 데이터의 양과 복잡성은 관련 통찰(insights)을 효율적으로 식별하는 것을 어렵게 만들 수 있습니다. 산업적 맥락에서는 대시보드(dashboards)가 여전히 지배적이지만, 대화형 사용자 인터페이스(CUI)를 통해 접근하는 대규모 언어 모델(LLM) 기반 대화형 에이전트(Conversational Agents, CAs)는 이러한 데이터에 더 직접적인 접근을 제공할 수 있습니다. 그러나 그 효과는 작업의 정보 처리 요구 사항에 따라 달라질 수 있습니다. 본 연구는 제조 의사결정 지원 시나리오에서 CUI를 통해 제공되는 LLM 기반 CA와 대시보드를 비교합니다. 2x3 설계의 혼합 요인 실험(mixed factorial experiment)을 통해, 134명의 산업 의사결정자를 하나의 인터페이스 조건에 배정하고 복잡도가 증가하는 세 가지 작업을 완료하게 했습니다. 우리는 인지된 정신적 작업 부하(Mental Workload, MWL), 의사결정 정확도, 완료 시간, 그리고 의도된 의존도를 조사하였으며, 자기 보고식 데이터 리터러시(data literacy)를 조절 변수(moderator)로 테스트했습니다. 결과에 따르면, CUI는 전반적으로 인지된 MWL을 감소시켰고 요구 사항이 적은 작업에서는 더 빠른 완료를 지원했지만, 두 가지 장점 모두 작업 복잡도가 증가함에 따라 감소했습니다. 어떤 인터페이스도 의사결정 정확도에서 일관된 전반적 우위를 보여주지 못했으며, CUI는 향후 결정을 위한 유일한 근거로서 선호되지 않았습니다. 또한, 데이터 리터러시는 인터페이스 효과를 안정적으로 조절하지 못했습니다. 이러한 발견은 대화형 상호작용이 산업 의사결정 지원에 있어 보편적인 이점이 아닌 조건부 이점을 제공함을 나타냅니다. LLM 기반 CA는 정보 접근 노력을 줄여줄 수 있는 반면, 복잡한 의사결정은 지속적이고 검토 가능한 시각적 표현(visual representations)으로부터 계속해서 이점을 얻을 수 있습니다.