멀티모달 이미지 채색: 텍스트 조건부 가이드가 그레이스케일-컬러 변환에 미치는 영향 정량화

그레이스케일 (Grayscale) 이미지는 역사적 사진 복원, 의료 영상, 그리고 예술 매체에서 흔히 발견됩니다. 그러나 동일한 그레이스케일 입력에 대해 여러 가지 그럴듯한 채색 결과가 존재할 수 있기 때문에, 이러한 이미지에 자동으로 색상을 적용하는 것은 컴퓨터 비전 (Computer Vision) 분야에서 여전히 중요한 과제로 남아 있습니다. 본 연구에서는 그레이스케일-컬러 (Grayscale-to-Color) 이미지 모델에 대해 텍스트 조건부 (Text Conditioning)가 픽셀 수준 및 지각적 지표 (Perceptual Metrics)에 미치는 영향을 정량화합니다. 구체적으로, 우리는 다른 모든 변수를 일정하게 유지한 상태에서 CLIP 텍스트 조건부 유무에 따라 각각 테스트된 두 가지 아키텍처인 U-Net과 Stable Diffusion 1.5를 비교합니다. 연구 결과에 따르면, U-Net 계층에서는 텍스트 조건부가 PSNR을 5.6%, SSIM을 1.2%, 채도 (Colorfulness)를 36.6% 향상시키는 동시에 LPIPS를 7.6% 감소시키는 것으로 나타났습니다. Stable Diffusion 계층에서는 텍스트 조건부가 PSNR을 5.8%, SSIM을 1.5%, 채도를 0.6% 향상시키는 한편, LPIPS를 11.3% 감소시켰습니다. 이러한 결과는 텍스트 조건부가 두 아키텍처 규모 모두에서 채색 품질에 대해 일관되고 측정 가능한 개선을 제공한다는 것을 나타냅니다.