도메인은 잔여물이다: 생성기가 아닌 자기 지도 특징을 적응시키기

영상에서 안개, 비 또는 눈을 제거하거나 렌더링 결과물을 사진으로 변환하는 과정은 원본 도메인을 제거하고 장면 자체를 유지해야 합니다. 쌍이 맞지 않는(unpaired) 트랜스레이터는 생성기가 원본의 외관(픽셀, 거의 역변환 가능한 잠재 공간 또는 제어 맵)을 보고 이를 유지하기 때문에 이 과정을 수행합니다. DINO 특징 맵은 장면에 있는 것을 고정하고 날씨, 조명 및 렌더링 스타일을 특징 노름의 13~14%로 잔여물(residue)처럼 운반합니다. 우리는 이러한 잔여물을 이동시키는 Representation Feature Adapter (RFA), 즉 2.9M 파라미터 네트워크를 제안합니다. 우리는 어댑터와 그 판별자들만 학습시키고, 인코더와 모든 조건에 대해 한 번 훈련된 특징 기반 디코더는 고정(frozen) 상태로 유지합니다. CycleGAN-Turbo 대비 안개 및 야간 KID 두 지표 모두에서 앞서나가며, 눈, 비, 헤이즈에서는 노이즈 수준과 비슷합니다. sim-to-real 환경에서도 REGEN과 HyPER-GAN을 두 지표 모두에서 능가합니다. 오직 RFA만이 장면을 유지하면서 비를 제거할 수 있습니다. (다른 모델들은) 제거 과정에서 장면 구조의 손실을 초래합니다: CycleGAN-Turbo는 안개를 제외한 모든 조건에서 더 많이 유지하지만, RFA가 가장 우수합니다. VAE 잠재 공간(latents)에서는 동일한 어댑터가 항등원(identity)으로 붕괴하며, 다른 그룹의 디코더들은 이를 본 적이 없더라도 그 출력을 렌더링합니다. RFA는 CycleGAN-Turbo보다 학습 가능한 파라미터가 약 160배 적고, 조건별 학습 시간도 5분의 1 미만입니다.