Vision Mamba의 성능 향상을 위한 고급 이산화 전략 비교

요약

본 논문은 State Space Model (SSM) 기반 비전 모델인 Vision Mamba가 사용하는 Zero-Order Hold (ZOH) 방식의 한계를 지적하며, 이를 개선할 고급 이산화 전략들을 제시합니다. ZOH는 샘플링 간격 동안 입력 신호가 일정하다고 가정하여 동적인 시각 환경에서 시간적 충실도를 떨어뜨립니다. 연구진은 Vision Mamba 프레임워크 내에서 총 6가지 방식(ZOH, FOH, BIL, POL, HOH, RK4)을 비교 평가했습니다. 그 결과, Polynomial Interpolation (POL)과 

핵심 포인트

• Polynomial Interpolation (POL) 및 Higher-Order Hold (HOH)는 높은 정확도 향상을 가져오지만 훈련 시간이 길어지는 단점이 있습니다.
• Bilinear/Tustin Transform (BIL)은 ZOH 대비 일관된 성능 개선을 보여주며, 정밀도와 효율성 면에서 가장 균형 잡힌 선택지입니다.
• 이 연구 결과는 SSM 기반 비전 아키텍처에서 이산화(discretization)가 매우 중요한 역할을 함을 입증합니다.
• 따라서 최신 SSM 모델의 기본 이산화 기준으로 BIL 채택을 권장합니다.