이미지 처리 자동화 과정에서 겪은 어려움: 배경 투명화 및 흰색 배경 처리의 최적 방법과 라이브러리 비교

엔지니어로서 웹 서비스나 EC 사이트의 이미지 처리 기능을 개발하다 보면, 반드시 '이미지의 배경 투명화 및 흰색 배경(#FFFFFF)으로 치환' 자동화 처리에 부딪힙니다.

지금까지 Pillow (Python)나 OpenCV 같은 표준 라이브러리부터 최신 AI 접근 방식까지 여러 가지를 시도해 왔습니다. 이번에는 실제로 현장에서 겪었던 에지 검출의 과제와 각 방법론의 장단점을 실패담을 곁들여 공유하고자 합니다.

기존 방식 (Canvas / OpenCV / Pillow)으로 직면한 한계

처음에는 외부 API를 사용하지 않고 오픈소스 이미지 처리 라이브러리만으로 모든 것을 해결할 수 있을 것이라 생각했습니다.

1. 알고리즘 기반 배경 처리가 실패했던 지점

단순한 색 임계값(Thresholding)이나 에지 검출 알고리즘을 사용했을 때, 다음과 같은 경우에 정확도가 현저히 떨어졌습니다.

• 피사체와 배경의 경계가 모호한 경우 (흰 셔츠를 입은 모델 이미지 등)
• 투명 소재나 머리카락 등의 세밀한 부분 (안티앨리어싱(Anti-aliasing) 처리가 부자연스럽게 잘려 나감)
• 그림자(Drop Shadow) 처리 (필요한 그림자까지 사라져 피사체가 떠 보이는 현상)

특히 EC 계열의 제품 이미지에서는 배경을 순백색(#FFFFFF)으로 통일하면서도 피사체의 질감을 유지해야 하는데, 규칙 기반의 이미지 처리는 코드의 조건 분기가 비대해지면서 유지보수가 불가능한 상황에 빠졌습니다.

AI 모델 (rembg / Segment Anything) 도입과 성능 과제

다음으로 고려한 것은 U-2-Net 등을 기반으로 한 AI 모델을 이용한 자동 세그멘테이션이었습니다. Python 라이브러리인 rembg 등은 매우 우수하여, 잘라내는(크롭) 정확도 자체는 크게 향상되었습니다.

개발 및 운영 측면의 실제 과제

정확도는 높아졌지만, 프로덕션 환경에 통합하는 단계에서 새로운 장벽에 부딪혔습니다.

• 추론 속도와 리소스 소비: CPU 서버 상에서의 처리 시간이 이미지 1장당 수 초가 걸려 병렬 요청을 감당하기 어려웠습니다.
• GPU 비용: 추론 전용 GPU 인스턴스를 준비하면 인프라 비용이 급증했습니다.
• 메모리 누수와 빌드 크기: Docker 이미지 경량화나 ONNX Runtime 튜닝에 시간을 소요했습니다.

개인 개발이나 소규모 프로덕트의 경우, 모델 호스팅 및 인프라 운영 비용이 큰 부담으로 다가왔습니다.

백엔드 구현과 SaaS/웹 도구 활용 구분

인프라 비용을 낮추면서도 일정 수준의 품질을 확보하기 위해, 현재는 '용도와 배치 처리 규모'에 따라 사용법을 달리하고 있습니다.

이미지 배경 처리에 대한 접근 방식 비교

자사 인프라 (Python + ONNX Runtime)

• 장점: 완전한 커스터마이징성과 데이터 프라이버시 확보
• 단점: GPU 서버 비용 및 추론 레이턴시 튜닝 필요

클라우드 API (Cloudinary / Replicate 등)

• 장점: 인프라 관리가 불필요하고, Webhook을 통해 확장성 있게 처리 가능
• 단점: 종량제 비용과 API 요청 제한

브라우저 완결형/경량 웹 도구

• 장점: 개발 공수가 0에 가깝고, 디자이너나 PM이 즉시 에셋을 생성할 수 있음
• 단점: 배치 처리의 완전 자동화에는 적합하지 않음

개발 초기 단계나 프로토타입 작성, 또는 웹 브라우저 상에서 빠르게 테스트 이미지를 만들고 싶다면, 웹 기반 전용 도구를 활용하는 것도 매우 효과적입니다. 예를 들어, 브라우저 위에서 직관적으로 조작할 수 있는 증명사진이나 EC용 이미지의 가공 절차 등을 참고하면서, 알고리즘이 어떻게 배경을 인식하여 흰색 배경으로 만드는지를 관찰하면 UI/UX 설계에 도움이 됩니다.

또한, W3C가 공개한 HTML Canvas 2D Context의 공식 사양 등을 확인하면, 브라우저 측에서의 합성 처리나 알파 채널 제어 사양에 대해 깊이 있는 이해를 얻을 수 있으니 추천합니다.

요약: 요구사항에 따른 기술 선정의 중요성

이미지의 흰색 배경화 또는 배경 투명화 처리는 겉보기에는 단순해 보이지만 심오한 분야입니다.

• 대량의 실시간 처리가 필요하다면, WebAssembly나 경량화된 ONNX 모델을 이용한 클라이언트 측 처리
• 높은 정확도의 자동화가 필요하다면, 외부 API 활용
• 간편한 에셋 생성이나 검증 단계라면, 기존 웹 도구 활용

제품의 규모, 예산, 요구되는 정밀도에 맞춰 최적의 구성을 선택하세요. 여러분의 현장에서는 어떤 스택으로 이미지 처리를 구현하고 있나요? 댓글 등으로 꼭 알려주세요.

Discussion