HiLSVA: 과학적 시각화(Scientific Visualization)를 위한 인간 참여형(Human-in-the-Loop) 에이전트

대규모 언어 모델 (LLM) 에이전트는 과학적 시각화 (SciVis)를 위한 자연어 상호작용을 가능하게 합니다. 그럼에도 불구하고, 기존 시스템들은 인간의 분석적 제어보다 자율성을 우선시해 왔으며, 이로 인해 투명성과 인간의 감독(oversight)이 제한되었습니다. 우리는 혼합 주도형 (mixed-initiative) SciVis 워크플로우를 지원하는 인간 참여형 (human-in-the-loop) 에이전트 시스템인 HiLSVA를 제시합니다. HiLSVA는 계획 우선 (plan-first) 멀티 에이전트 아키텍처를 명시적인 인간의 감독, 단계별 출처 추적 (provenance tracking), 그리고 사용자 피드백으로부터의 테스트 시점 학습 (learn-at-test-time) 적응과 통합합니다. 이 시스템은 자연어와 시각화의 직접적인 조작(direct manipulation) 모두를 통해 인간과 에이전트 간의 유연한 핸드오프 (handoff)를 지원하며, 샌드박스 실행 (sandboxed execution)은 안전하고 재현 가능한 워크플로우를 보장합니다. 이를 통해 HiLSVA는 에이전트 기반 SciVis를 인간의 분석적 추론을 대체하는 것이 아니라 증강하는 협업 과정으로 재정의합니다. 우리는 대표적인 사례 연구와 다양한 자율성 설정에서 서로 다른 전문성을 가진 12명의 참가자를 대상으로 한 통제된 사용자 연구를 통해 HiLSVA를 평가합니다. 결과에 따르면, 혼합 주도형 상호작용은 다양한 수준의 사용자 전문성에 걸쳐 작업 완료, 사용자 제어 및 워크플로우 투명성을 향상시키는 동시에, 실행 효율성과 인간의 감독 사이의 트레이드오프 (tradeoff)를 드러냅니다. 이러한 발견은 에이전트 기반 SciVis에서 인간 중심 설계의 중요성을 강조하며, 향후 협업 시각화 시스템의 개발을 안내합니다. 독자들이 https://hilsva.github.io/ 에서 우리의 데모 비디오, 사례 연구 및 소스 코드를 탐색해 보기를 권장합니다.