나를 인도해줘: 위기 상황에서 VLM 운영자의 통신을 벤치마킹하기 위한 프레임워크

효과적인 위기 대응을 위해서는 구조적 병목 현상, 진화하는 위협, 그리고 에이전트별 특유의 맥락을 고려하여 민간인의 언어적 안내와 물리적 환경을 연결하는 공간적으로 근거가 있는 통신 (spatially grounded communication)이 필요합니다. 그러나 위기 통신에 관한 현재의 자연어 처리 (NLP) 연구는 주로 정적이고 텍스트 전용인 분류 설정에 국한되어 있으며, 역동적이고 체화된 (embodied) 시나리오에서 AI 운영자 (AI operators)가 수행하는 중요한 통신 역할을 간과하고 있습니다. 우리는 시뮬레이션된 대피 과정을 통해 민간인 에이전트를 안내하는 임무를 맡은 시각-언어 모델 (Vision-Language Models, VLMs)을 평가하기 위한 새로운 벤치마킹 프레임워크를 통해 이러한 격차를 해결합니다. 우리는 구조적 복잡성이 다양한 9개의 지도에 걸쳐 두 가지 통신 전략 (narrowcast vs. broadcast), 두 가지 환경 표현 (visual vs. graph-based), 그리고 두 가지 위협 행동 (static vs. moving)을 테스트합니다. 연구 결과에 따르면, Narrowcast는 모든 난이도 수준에서 Broadcast에 비해 민간인의 실패율 (Fail rates)을 일관되게 감소시킵니다. 안내 품질은 VLM 운영자가 세상을 어떻게 표현하느냐에 크게 좌우됩니다. 시각적 양상 (visual modality)은 성능을 주도하는 반면, 인접 그래프 (adjacency graph)를 추가하는 것은 모델에 따라 다르며 종종 해로울 수 있습니다. 이동하는 위협은 통신이 시간에 따라 지속적으로 적응해야 하기 때문에 모든 조건에서 실패율을 높입니다. 종합적으로, 이러한 발견은 대피 시나리오에서 AI 운영자로 VLM을 배치하는 것이 여전히 쉽지 않은 과제임을 보여주며, 통신 전략과 입력 표현의 선택이 개입의 성공 또는 실패를 직접적으로 결정할 수 있음을 시사합니다.