CMTFormer: RGB-이벤트 객체 탐지를 위한 Transformer와 계층적 정보 상호작용의 결합

이벤트 카메라(Event cameras)는 높은 시간 해상도(temporal resolution)와 높은 동적 범위(high dynamic range)로 희소한 밝기 변화를 포착하여, 기존 RGB 프레임의 결함을 보완합니다. 그러나 이전의 다중 모달 융합(multi-modal fusion) 기술들은 일반적으로 RGB 프레임과 이벤트 스트림(event streams) 사이의 내재적인 이질성(heterogeneity)을 처리하는 데 실패하며, 이로 인해 교차 모달 융합(cross-modal fusion) 과정에서 노이즈 증폭이나 중복된 특징 통합(redundant feature integration)이 쉽게 발생합니다. 본 논문에서는 효율적이고 안정적인 다중 모달 협업을 달성하기 위해 RGB와 이벤트 정보를 계층적으로 통합하는 Cross-Modal information inTeraction transFormer, 즉 CMTFormer를 제안합니다. 구체적으로, 우리는 shallow-to-deep 정보 상호작용 스킴(information interaction scheme)을 설계합니다. shallow 단계에서는 RGB와 이벤트의 저수준 특징(low-level features)을 효율적으로 융합하여 속성 차이(attribute disparities)를 완화하고 노이즈 정보를 방지하는 Shallow Alignment Module (SAM)을 제시합니다. middle 단계에서는 질감(texture)과 에지(edge) 정보를 활용하여 상호 강화된 중간 수준 특징(middle-level features)을 생성하는 Cross-modal Enhancement Module (CEM)을 고안합니다. deep 단계에서는 학습 가능한 가중치(learnable weights)를 통해 고수준 정보 집계(high-level information aggregation)를 수행하여 네트워크가 RGB와 이벤트 단서를 적응적으로 융합할 수 있도록 하는 Learnable Deep Fusion Module (LDFM)을 제시합니다. 또한, 전역 공간 정보(global spatial information)를 활용하여 위치 정확도(localization accuracy)를 높이기 위한 Spatial Prior Module을 추가로 설계했습니다. 두 가지 널리 쓰이는 이벤트 기반 객체 탐지 벤치마크인 DSEC-Detection과 PKU-DAVIS-SOD에서 광범위한 실험을 수행했습니다. 우리의 CMTFormer는 단일 모달(uni-modal) 및 다중 모달(multi-modal) 설정 모두에서 탐지 성능을 일관되게 능가하며, 우리 패러다임의 효과를 강력하게 입증합니다. 코드는 출판 시 공개될 예정입니다.