과학 시각화에서 LLM 에이전트의 상호작용 패러다임 탐색

요약

본 논문은 자연어 지시를 통해 과학 시각화(SciVis) 워크플로우를 생성하는 과정에서 다양한 LLM 에이전트의 상호작용 패러다임을 비교 분석했습니다. 연구진은 구조화된 도구 사용, 컴퓨터 사용, 범용 코딩 등 세 가지 주요 에이전트 유형을 15개 벤치마크 작업에 적용하여 시각화 품질, 효율성, 견고성 등을 측정했습니다. 그 결과, 각 패러다임별로 명확한 트레이드오프가 존재하며, 최적의 SciVis 시스템은 구조화된 도구 사용, 적절한 상호작용 모달리티(CLI/GUI), 그리고 지속적인 기억 메커니즘을 결합해야 함을 제안합니다.

핵심 포인트

• SciVis 작업에서 LLM 에이전트는 '도메인 특화', '컴퓨터 사용', '범용 코딩' 세 가지 주요 상호작용 패러다임으로 분류되어 비교됨.
• 범용 코딩 에이전트가 가장 높은 성공률을 보이지만, 계산 비용과 장기 계획의 어려움이라는 트레이드오프가 존재함.
• 도메인 특화 에이전트는 효율성과 안정성이 높으나 유연성 측면에서 한계가 있으며, 컴퓨터 사용 에이전트는 다단계 워크플로우 계획에 취약함을 보임.
• 지속적 기억(persistent memory)은 성능 향상에 기여하지만, 그 효과는 기본 상호작용 모드와 피드백 품질에 따라 달라짐.
• 미래의 SciVis 시스템은 단일 접근법이 아닌, 구조화된 도구 사용, 적응형 상호작용 기능, 그리고 기억 메커니즘을 통합하여 성능과 유연성을 균형 있게 확보해야 함.