Deformba: 적응형 상태 융합을 이용한 비전 상태 공간 모델 (Vision State Space Model)

요약

Deformba는 기존 비전 상태 공간 모델(SSM)이 가진 고정된 스캐닝 방식의 한계와 정보 스트림 간 상호작용의 어려움을 해결하기 위해 제안된 모델입니다. 컨텍스트 적응형 방법을 통해 공간적 구조 정보를 동적으로 증강하며, SSM의 선형 복잡도를 유지하면서도 교차 주의 집중(cross attention)을 통한 멀티모달 융합을 지원합니다. 2D 비전 작업부터 3D BEV 인지 작업까지 다양한 벤치마크에서 뛰어난 성능을 입증했습니다.

핵심 포인트

• 고정된 스캐닝 방식 대신 공간적 구조 정보를 동적으로 증강하는 컨텍스트 적응형 방법론 제안
• SSM의 핵심 장점인 선형 시간 복잡도를 유지하면서도 복잡한 기하학적 구조 대응 가능
• 교차 주의 집중 메커니즘을 통해 다중 뷰 3D 융합과 같은 멀티모달 상호작용 지원
• 이미지 분류, 객체 탐지, 세그멘테이션 및 3D BEV 인지 등 다양한 시각적 작업에서 높은 성능 달성