EvTexture++: 비디오 초해상도를 위한 이벤트 기반 텍스처 강화

이벤트 기반 비전은 초고속 시간 해상도와 극단적인 다이나믹 레인지를 포함하는 독특한 특성 덕분에 점점 더 많은 관심을 받고 있습니다. 최근 연구들은 이를 비디오 초해상도(VSR)에 도입하여 흐름 추정 및 시간 정렬을 개선했습니다. 반면, 본 논문은 이벤트 신호의 초점을 모션 개선에서 VSR에서의 텍스처 강화로 전환합니다. 우리는 VSR에서 텍스처 강화를 전담하는 최초의 이벤트 기반 프레임워크인 EvTexture++를 제안합니다. 이는 이벤트를 통해 얻는 고주파 시공간 디테일을 활용하여 텍스처 복구를 개선합니다. EvTexture++는 맞춤형 텍스처 강화 브랜치와 반복적인 텍스처 강화 모듈을 통합하여, 높은 시간 해상도의 이벤트 정보를 점진적으로 활용해 텍스처 복원을 수행합니다. 이를 통해 여러 반복에 걸쳐 텍스처 영역이 점진적으로 개선되어 더욱 정확하고 상세한 고해상도 출력을 얻을 수 있습니다. 프레임 내 텍스처 복구 외에도, 큰 움직임은 특히 텍스처 영역에서 프레임 간 시간적 일관성을 저하시켜 텍스처 깜빡임을 유발할 수 있습니다. 이를 완화하기 위해, 우리는 이벤트의 연속 시간 모션 단서를 추가로 활용하여 시간적 일관성을 강화하고, 정밀한 프레임 간 텍스처 정렬을 위한 이벤트 가이드 텍스처 인식 흐름(event-guided texture-aware flow)을 추정하는 시간적 텍스처 정렬 모듈을 도입합니다. 더욱이, EvTexture++는 기존 VSR 모델의 성능을 유연하게 향상시키기 위해 플러그앤플레이 도구로 설계되었습니다. 다섯 가지 데이터셋에 대한 실험 결과, EvTexture++가 최첨단(state-of-the-art) 성능을 달성함을 입증했습니다. 최근 VSR 모델에 통합했을 때, 텍스처가 풍부한 Vid4 데이터셋에서 PSNR 기준으로 최대 1.55 dB의 상당한 개선을 가져옵니다. 코드: https://github.com/DachunKai/EvTexture.