DART: 종합적인 로프 상태 감시를 위한 비전-언어 기반 모델

요약

DART(Damage Assessment via Rope Transformer)는 합성 섬유 로프(SFRs)의 상태 모니터링(CM)을 위한 비전-언어 기반 통합 모델입니다. 이 모델은 Vision Transformer와 Llama-3.2를 결합하고, Joint-Embedding Predictive Architecture (JEPA)를 크로스 모달 도메인으로 확장하여 다중 작업 아키텍처를 구현했습니다. DART는 손상 분류, 연속적 심각도 회귀, 그리고 few-shot 인식 등 다양한 로프 검사 작업을 단일 백본에서 수행할 수 있어, 기존의 분류기 기반 시스템을 뛰어넘는 일반적인 CM 솔루션을 제공합니다.

핵심 포인트

• DART는 SFR 상태 모니터링을 위해 Vision-Language Foundation Model 접근 방식을 채택했습니다.
• 모델은 ViT와 Llama-3.2를 Severity-Conditioned Cross-Modal Fusion (SC-CMF) 모듈로 결합하여 다중 작업 아키텍처를 구축했습니다.
• 세 가지 혁신적인 아키텍처(HD-MASK, per-class severity gates, CDD loss)가 모델의 범용성과 성능을 극대화합니다.
• 단일 훈련으로 손상 분류, 심각도 회귀, few-shot 인식 등 다양한 다운스트림 작업을 지원하는 일반적인 CM 백본 역할을 수행합니다.