산불 모니터링 및 보고를 위한 시뮬레이션 기반 에이전트형 VLM 프레임워크

효과적인 산불 모니터링을 위해서는 시각적 증거와 실제 화재 역학 간의 연관성이 필요한데, 동기화된 물리적 주석(annotation)이 포함된 실제 영상은 희귀하고 고충실도 3D 시뮬레이션은 비용이 많이 듭니다. 우리는 2D 산불 시뮬레이션을 레이블링된 비디오 에피소드로 자동 변환하는 시뮬레이션 기반 Vision-Language Model (VLM) 프레임워크를 제시합니다. 고정된 Blender 매핑은 시뮬레이터 지형, 연료 배치(fuel layout), 화재 활동, 그리고 바람 단서와 정렬된 저화질 3D 프록시를 생성하며, 제어 가능한 비디오 생성이 더 풍부한 외관을 제공합니다. 이 프록시들은 세밀하게 렌더링된 최종 장면이라기보다는 중간 표현(intermediate representations)입니다. 생성된 비디오와 시뮬레이터 레이블은 재사용 가능한 멀티모달 메모리를 형성하며, 이는 학습이 필요 없는(training-free) 다중 에이전트 VLM 시스템에 활용됩니다. 이 시스템은 참조 에피소드를 검색하고, 시각적 예측과 메모리 기반 예측을 조정하며, 구조화된 산불 보고서를 생성합니다. 분리된(held-out) 생성 에피소드에서 비디오 메모리는 4개 태그의 정확도 51.5%를 달성했으며, 이는 직접적인 VLM 질의 시 22.6%, 텍스트 전용 메모리 시 16~17%에 비해 높은 수치입니다. 완전한 시스템은 6개의 시뮬레이터 파생 보고서 필드에서 77.3%의 정확도를 달성합니다. 구성 요소 제거(Component ablations), 교차 생성기 테스트, 그리고 세 번의 실제 UAV 평가를 통해 검색, 보고, 생성기 변경, 관찰 가능한 모니터링 작업이 평가되었습니다. 이 프레임워크는 자동 시뮬레이션-대-프록시 변환과 희소한 실세계 물리적 주석 하에서의 메모리 기반 VLM 추론을 연결합니다.