AbsoluteDegradation: 물리 기반의 합성 필름 열화 파이프라인 및 아카이브 필름 복원 벤치마크
요약
물리적 원리에 기반하여 현실적인 필름 열화를 합성하는 AbsoluteDegradation 파이프라인과 대규모 아카이브 벤치마크를 제안합니다. 기존 합성 데이터의 한계를 극복하고 실제 아카이브 영상 복원 모델의 성능을 체계적으로 평가할 수 있는 프레임워크를 제공합니다.
핵심 포인트
- 물리적 원리를 모델링한 모듈형 필름 열화 합성 파이프라인 제안
- 신호 의존적 그레인 및 파라미터 기반 스크래치 등 정교한 열화 구현
- 81,576개의 고해상도 프레임으로 구성된 대규모 아카이브 데이터셋 도입
- 실제 영상에 대한 모델의 일반화 성능 향상 및 체계적 평가 가능
아카이브 필름(archival film)을 복원하는 것은 쌍을 이룬 학습 데이터(paired training data)의 부재와 표준화된 평가 벤치마크(evaluation benchmarks)의 부족으로 인해 근본적으로 어려운 과제로 남아 있습니다. 손상된 영상의 깨끗한 버전은 물리적으로 복구할 수 없기 때문에, 지도 학습(supervised methods) 방식은 합성 데이터에 의존해야 하지만, 이러한 데이터는 실제 필름 열화(film degradation)의 복잡하고 시간적으로 일관된(temporally coherent) 특성을 포착하지 못하는 경우가 많습니다. 동시에, 기존의 실제 환경 데이터셋은 규모, 품질 및 접근성 측면에서 제한적이어서, 신뢰할 수 있는 평가와 방법론 간의 공정한 비교를 방해합니다. 우리는 물리적 원리에서 영감을 얻은 모듈형 파이프라인인 AbsoluteDegradation을 통해 현실적인 필름 열화를 합성하고, 새로운 대규모 아카이브 벤치마크를 제공함으로써 이 두 가지 한계를 해결합니다. 제안된 파이프라인은 아날로그-디지털 변환 과정을 아티팩트 군(artifact families)의 구조적 구성으로 모델링하며, 신호 의존적 그레인(signal-dependent grain), 파라미터 기반 스크래치(parametric scratches), 그리고 시간적으로 일관된 카메라 움직임을 통합하여 다양한 열화 환경을 제어된 방식으로 생성할 수 있게 합니다. 이와 병행하여, 우리는 실제 아카이브 영상에서 추출한 81,576개의 고해상도 프레임으로 구성된 큐레이션된 데이터셋을 도입하여, 실제 환경 조건에서 일관된 평가가 가능하도록 설계했습니다. 이러한 기여를 통해 복원 모델의 학습과 벤치마킹을 위한 통합 프레임워크를 제공합니다. 다양한 아키텍처에 걸친 광범위한 실험 결과, AbsoluteDegradation으로 학습된 모델이 실제 영상에 더 잘 일반화(generalize)된다는 것을 보여주었으며, 제안된 벤치마크는 현재 방법론들의 체계적인 실패 모드(failure modes)를 드러냅니다. 우리는 이 연구가 아카이브 필름 복원 분야에서 재현 가능하고 도메인에 충실한(domain-authentic) 평가를 위한 토대를 마련하기를 바랍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기