과학 시각화에서 LLM 에이전트의 상호작용 패러다임 탐색

본 논문은 자연어 지시를 통해 사용자가 시각화 워크플로우를 생성하는 과학 시각화 (SciVis) 작업에서 다양한 유형의 대규모 언어 모델 (LLM) 에이전트가 어떻게 수행되는지 고찰합니다. 우리는 구조화된 도구 사용이 있는 도메인 특화 에이전트, 컴퓨터 사용 에이전트, 그리고 범용 코딩 에이전트를 포함한 세 가지 주요 상호작용 패러다임을 비교합니다. 이를 위해 8 개의 대표적 에이전트를 15 개의 벤치마크 작업에서 평가하고 시각화 품질, 효율성, 견고성 (robustness), 및 계산 비용을 측정했습니다. 또한 구조화된 도구 사용을 위한 코드 스크립트와 모델 컨텍스트 프로토콜 (MCP) 또는 API 호출을 포함한 상호작용 모달리티를 분석하고, 보다 일반적인 상호작용을 위한 명령줄 인터페이스 (CLI) 와 그래픽 사용자 인터페이스 (GUI) 를 연구하는 한편, 선택된 에이전트에서 지속적 기억 (persistent memory) 의 효과도 추가로 조사했습니다. 결과는 패러다임과 모달리티 간에 명확한 트레이드오프가 있음을 보여줍니다. 범용 코딩 에이전트는 가장 높은 작업 성공률을 달성하지만 계산 비용이 높고, 도메인 특화 에이전트는 더 효율적이고 안정적이지만 유연성이 낮습니다. 컴퓨터 사용 에이전트는 개별 단계에서는 잘 수행되지만 긴 다단계 워크플로우에서는 어려움을 겪어, 장기적 수평 계획 (long-horizon planning) 이 주요 한계임을 나타냅니다. CLI 기반과 GUI 기반 설정 모두에서 지속적 기억은 반복 시행 시 성능을 향상시키나, 그 효과는 기본 상호작용 모드와 피드백의 품질에 따라 달라집니다. 이러한 발견들은 단일 접근법이 충분하지 않으며, 향후 SciVis 시스템은 구조화된 도구 사용, 상호작용 기능, 그리고 적응형 기억 메커니즘을 결합하여 성능, 견고성, 및 유연성을 균형 있게 달성해야 함을 시사합니다.