이미지 선명화(Image Sharpening)나 AI 초해상도(AI Super-Resolution) 데모를 보면, 대부분의 경우

입력 이미지 → AI 보정 → 완성 이미지

라는 흐름으로, "외관이 깨끗해졌는가"를 확인하고 끝나는 경우가 많다고 생각합니다.

하지만 이미지 처리를 조금 더 깊이 있게 생각하면, 다음과 같은 의문이 생깁니다.

• 정말로 원본 이미지의 정보를 복원하고 있는 것인가
• 아니면, AI가 그럴듯한 정보를 추가하고 있는 것인가
• 고전적인 샤프닝(Sharpening)과 물리 모델 계열의 복원(Restoration)은 무엇이 다른가
• 처리 후의 이미지는 입력 이미지와 어느 정도 정합(Consistency)을 이루고 있는가

그래서 단순한 이미지 선명화 사이트가 아니라, 여러 기법을 비교하면서 이미지 복원을 관찰할 수 있는 웹사이트를 만들었습니다.

이곳입니다.

이름은 Image Restoration Lab, 일본어로는 「이미지 복원 진단 랩」이라는 위치 설정입니다.

이미지를 업로드하거나 준비된 샘플 이미지를 선택하면, 브라우저 상에서 이미지 진단과 여러 복원·선명화 처리를 실행할 수 있습니다.

주요 기능은 다음과 같습니다.

• 입력 이미지의 기본 진단
• FFT(Fast Fourier Transform)를 통한 주파수 분석
• 고주파 잔존율 추정
• 블러(Blur) 정도 표시
• JPEG 열화 정도 표시
• 복원 가능성 스코어 표시
• 여러 알고리즘의 동시 비교
• 처리 시간 표시
• PSNR / SSIM / Laplacian Variance 등의 평가
• 입력 이미지와 처리 이미지의 국소 확대 비교
• 자동 코멘트를 통한 고찰 표시

"이미지가 깨끗해졌는가"뿐만 아니라, "어떤 기법이 어떤 변화를 가했는가"를 보이게 하는 것을 목적으로 하고 있습니다.

현재는 주로 다음과 같은 기법을 비교할 수 있습니다.

고전적인 샤프닝(Sharpening)입니다.

처리가 빠르고 윤곽을 강조하는 효과가 있습니다. 다만, 노이즈나 가짜 윤곽(Artifact)도 함께 강조하기 쉬우므로, "복원"이라기보다는 "외관의 강조"에 가까운 처리입니다.

물리 모델에 가까운 복원 처리입니다.

블러나 노이즈를 가정하면서, 입력 이미지를 최대한 설명할 수 있는 이미지를 추정하는 방향의 기법입니다.

이번의 주인공에 가까운 기법입니다.

점 확산 함수(Point Spread Function), 이른바 PSF를 가정하여, 흐릿한 이미지로부터 원본 이미지를 반복적으로 추정합니다.

Richardson-Lucy 법에서는 PSF 설정이 중요하기 때문에, 여러 PSF 후보를 시도하여 평가값이 좋은 것을 선택하는 간이적인 자동 탐색 기능도 포함되어 있습니다.

현시점에서는 완전한 Blind Deconvolution은 아니지만,

몇 가지 PSF 후보를 시도한다
→ 재열화 오차(Re-degradation error)나 주파수 변화를 보면서 괜찮은 조건을 선택한다

라는 방향으로 실험하기 쉽게 구성했습니다.

결과 목록에서는 각 기법에 대해 다음과 같은 지표를 표시하고 있습니다.

이미지의 윤곽이나 세부 사항의 강도를 보기 위한 지표입니다.

값이 클수록 선명해 보이는 경향이 있지만, 노이즈가 늘어나도 값이 올라가기 때문에 단독으로는 판단하지 않습니다.

입력 이미지와 비교하여 처리 후에 고주파 성분이 어느 정도 늘어났는지 확인합니다.

증가가 클수록 세부 사항이 강하게 나타나지만, 극단적으로 큰 경우에는 "복원"이 아니라 "생성·강조" 쪽으로 치우쳤을 가능성도 있습니다.

처리에 의해 거칠기(Graininess)나 미세하고 부자연스러운 변동이 어느 정도 늘어났는지 보는 지표입니다.

샤프닝에서는 세부 사항과 노이즈가 동시에 늘어나기 쉬우므로 중요한 확인 항목입니다.

입력 이미지와의 구조적 유사도입니다.

1에 가까울수록 입력 이미지의 구조를 유지하고 있다고 간주할 수 있습니다.

입력 이미지와의 화소 차이를 바탕으로 한 지표입니다.

값이 높을수록 입력 이미지로부터의 변화가 작음을 나타냅니다. 다만, 복원 처리에서는 입력 이미지로부터 변화하는 것 자체가 목적이기도 하므로, 이 역시 단독으로는 판단하지 않습니다.

이 사이트에서 특히 보고 싶은 지표입니다.

생각하는 방식은 다음과 같습니다.

복원 이미지
↓
추정 PSF로 다시 열화
...

만약 복원 이미지가 입력 이미지를 잘 설명하고 있다면, 재열화된 이미지는 입력 이미지에 가까워져야 합니다.

반대로 외관은 깨끗해도 입력 이미지에 존재하지 않는 정보를 크게 추가한 경우라면, 재열화했을 때 입력 이미지와 맞지 않을 가능성이 있습니다.

이러한 사고방식을 통해,

• 복원 위주의 개선
• 생성·보완 위주의 개선

을 생각하는 실마리로 삼고 있습니다.

처리 결과 이미지를 클릭하면 해당 부분을 확대하여 비교할 수 있습니다.

왼쪽에는 원본 이미지, 오른쪽에는 선택한 기법의 처리 결과를 표시합니다.

마우스 휠로 확대·축소도 가능합니다.

이미지 전체로는 알기 어려운 차이라도 국소적으로 보면

• 윤곽이 자연스럽게 돌아왔다
• 노이즈만 늘어났다
• 격자 모양의 아티팩트(Artifact)가 나타났다
• 원본 이미지에 없는 무늬가 늘어났다

와 같은 차이를 쉽게 볼 수 있습니다.

이미지 선명화나 AI 보완은 외관의 임팩트가 강한 반면,

그것은 정말로 복원인가?

라는 질문이 남습니다.

특히 천문 이미지, 현미경 이미지, 감시 이미지, 오래된 사진 등에서는 단순히 "보기 좋아지는 것"뿐만 아니라, "관측 이미지와 일치하는가"가 중요해집니다.

그래서 AI 보완 (AI Completion), 물리적 복원 (Physical Restoration), 고전적 샤프닝 (Classical Sharpening)을 동일한 화면에서 비교할 수 있는 실험장으로서 만들었습니다.

현재의 MVP (Minimum Viable Product) 단계에서는 브라우저에서 동작하는 정적인 Web App (웹 앱)으로 구현되어 있습니다.

주로 사용되는 처리는 다음과 같습니다.

• Canvas API
• JavaScript를 이용한 이미지 처리
• FFT (고속 푸리에 변환) 기반의 주파수 분석
• Unsharp Mask
• Wiener Filter (위너 필터) 방식의 복원
• Richardson-Lucy Deconvolution (리처드슨-루시 디컨볼루션)
• PSF (점 퍼짐 함수) 후보 탐색
• PSNR / SSIM / Laplacian Variance 계산

장래에는 Python / FastAPI / OpenCV / scikit-image / SciPy 등을 사용한 백엔드 (Backend) 버전으로도 발전시키고 싶습니다.

앞으로는 다음과 같은 방향으로 더 나아가고자 합니다.

• Blind Deconvolution (블라인드 디컨볼루션) 강화
• PSF 추정 개선
• Real-ESRGAN이나 SwinIR 등 AI 계열과의 비교
• 재열화 오차 (Re-degradation error) 평가 정밀도 향상
• 노이즈 모델 (Noise Model) 도입
• 천문 이미지·현미경 이미지용 샘플 추가
• 처리 결과 다운로드
• 평가 리포트 출력

최종적으로는,

관측 이미지
↓
열화 모델 추정
...

이라는, 역문제 (Inverse Problem) 기반의 이미지 추정에 가까워지고 싶습니다.

이미지 선명화 (Image Sharpening)를,

"깨끗해졌습니다"

로 끝내지 않고,

"어떤 기법이, 어느 정도로, 입력 이미지와 일치하는 개선을 이루었는가"

를 볼 수 있는 웹사이트를 만들었습니다.

바로 테스트해 볼 수 있으니, 관심이 있다면 한 번 만져보세요.

아직 MVP 단계이지만, 이미지 복원 (Image Restoration)·디컨볼루션 (Deconvolution)·AI 보완의 차이를 고민하는 실험장으로 키워나갈 예정입니다.