저희 산업 파트너는 상부 선박 및 자율 수중 로봇(AURs)을 포함한 해양 시스템 등 여러 도메인의 산업 시스템 품질 보증에 중점을 두고 있습니다. 비전-언어 모델(VLMs)이 장면 이해, 이미지 캡셔닝, 객체 인식에서 강력한 성능을 보임에도 불구하고, 이를 수중 환경에서 작동하는 AUR 소프트웨어에 사용하는 것은 충분히 탐구되지 않았습니다. 따라서 이 맥락에서 VLM의 품질을 평가하여 AUR 소프트웨어 통합에 적합성을 확인하고 신뢰도를 향상시키기 위해 자동화된 소프트웨어 테스트 도구가 필요합니다. 이를 위해, 우리는 수중 이미지에 대한 최소한의 변환(transformation) 집합을 식별하여 잘못된 모델 예측을 유도함으로써 VLM의 실패를 드러내는 검색 기반 변태 테스트 접근 방식(MetaVLM)을 제안합니다. 우리는 다목적 검색 알고리즘인 NSGA-II를 사용하여 오픈 소스 VLM인 BLIP와 CLIP에 대해 무작위 검색 기준선과 비교하여 평가했습니다. 그 결과는 AUR 소프트웨어 시스템의 맥락에서 각 VLM의 강점과 한계를 보여줍니다. 이 결과를 바탕으로, 우리는 VLM 기반 소프트웨어 시스템의 품질 보증 작업을 하는 소프트웨어 엔지니어링 실무자 및 연구원들을 위한 교훈을 도출합니다.