대부분의 '무료' 배경 제거기는 사진을 서버에 업로드하고, GPU에서 모델을 실행한 다음, 고해상도 다운로드를 위해 비용을 지불하도록 요청합니다. 저는 그 반대를 원했습니다. 즉, 사진이 장치를 떠나지 않아야 하고, 다운로드는 전체 해상도여야 하며, 계정이 필요하지 않아야 했습니다.
그래서 저는 Remove de Fundo를 만들었는데, 이곳은 AI 모델이 브라우저 내에서 완전히 실행되는 배경 제거기입니다. 첫 번째 버전도 작동했지만, 실제 휴대폰에서는 속도가 너무 느려서 사용자들이 결과를 보기 전에 이탈했습니다. 이 글은 무엇이 그것을 느리게 했고, 무엇이 그것을 고쳤는지에 대한 내용입니다.
같은 노트북과 같은 사진으로 얻은 최종 결과: 클릭부터 잘라내기까지 43.8초 → 6.4초로 단축.
스택 (The stack)
- 사이트 구축을 위한 Astro (정적 페이지, Cloudflare Workers에 배포)
- **@imgly/background-removal**와 IS-Net fp16 모델 (~88 MB)
- 데스크톱에서는 WebGPU를, 휴대폰에서는 WebAssembly (CPU)로 모델을 실행하는 ONNX Runtime Web
- 마스크의 반투명 '안개(haze)'를 정리하기 위한 캔버스 내 작은 후처리 단계
모든 과정이 클라이언트 측에서 발생합니다. 서버는 정적 파일만 제공할 뿐입니다.
문제점 1: 모델이 캐싱되지 않은 CDN에서 왔음
첫 방문 시 약 100 MB(모델 + ONNX runtime)가 다운로드됩니다. 이는 브라우저 내 모델의 특성상 피할 수 없는 부분이지만, 저는 더 심각한 문제를 발견했습니다. 모델을 제공하는 CDN이 Cache-Control 헤더를 전송하지 않았고, 엣지 서버는 이를 cf-cache-status: DYNAMIC으로 표시했습니다. 따라서 재방문 사용자들은 종종 모델을 다시 다운로드했으며, 사용자와 가까운 곳에 아무것도 캐시되지 않았습니다.
해결책: 모델 파일을 자체 호스팅(self-host)했습니다. 빌드 스크립트가 모델 청크를 한 번 다운로드하여 public/ai/<version>/에 넣고, 라이브러리는 publicPath로 그곳을 가리키도록 했습니다. 청크 파일 이름이 콘텐츠 해시(content hashes)이기 때문에 영구적으로 캐싱할 수 있습니다:
/ai/*
Cache-Control: public, max-age=31536000, immutable
이제 재방문 사용자는 디스크 캐시에서 모델을 로드합니다. 네트워크는 전혀 사용되지 않습니다.
한 가지 문제점(gotcha)이 있었습니다. 청크 파일에 확장자가 없었고, 개발 서버와 호스트 모두 확장자 없는 경로를 페이지로 취급하여 (404) 오류가 발생했습니다. 이들을 <hash>.bin으로 저장하고 resources.json에서 이름을 다시 작성함으로써 해결할 수 있었습니다.
문제 2: CPU 경로가 8개 코어 중 하나만 사용함
휴대폰은 항상 WebAssembly 경로를 사용하므로 CPU 속도가 가장 중요합니다. ONNX Runtime Web은 여러 스레드를 사용할 수 있지만, 스레드가 SharedArrayBuffer를 필요로 하기 때문에 페이지가 cross-origin isolated(교차 출처 격리) 상태일 때만 가능합니다.
제 페이지는 격리가 되어 있지 않았습니다:
crossOriginIsolated // false
해결책: 두 개의 헤더를 사용했습니다.
Cross-Origin-Opener-Policy: same-origin
Cross-Origin-Embedder-Policy: credentialless
저는 Google Fonts와 분석 도구가 CORP(Cross-Origin Resource Policy) 헤더 없이 계속 작동하도록 require-corp 대신 credentialless를 사용했습니다. 이를 지원하지 않는 브라우저는 단순히 무시하므로 아무것도 깨지지 않습니다.
결과 (CPU, 모델 로드 완료 후): 사진당 22.7초 → 7.9초. 설정 두 줄만으로 거의 3배의 향상을 이루었습니다.
문제 3: PNG 인코딩을 13배 느리게 만든 버그
격리 기능을 활성화한 후 추론(inference) 속도는 훨씬 빨라졌지만, 전체적인 성능은 거의 개선되지 않았습니다. 저는 각 단계의 타임스탬프를 기록했고 다음을 발견했습니다:
| Stage | Time |
|---|
| Inference | 1.5 s |
| ... | |
1200 × 800 PNG 인코딩은 분수 초가 걸려야 합니다. 유휴 페이지에서 canvas.convertToBlob()을 측정해 보았습니다:
| Page | PNG encode |
|---|
| Not isolated | 208 ms |
| ... | |
따라서 격리 자체는 문제가 아니었습니다. 문제는 다음과 같습니다: 라이브러리가 WASM 스레드 수를 navigator.hardwareConcurrency(모든 코어)로 설정하고, ONNX의 워커 스레드가 추론(inference) 후에도 계속 spin-waiting(스핀 대기) 상태를 유지한다는 것입니다. 이들이 모든 코어를 점유하여 브라우저 자체의 이미지 인코딩 스레드를 고갈시킵니다.
해결책: 라이브러리가 로드되기 전에 스레드 수를 제한했습니다. 저는 CPU에서는 ONNX Runtime 자체의 기본값(코어 수의 절반, 최대 4개)을 사용했고, GPU 경로에서는 (GPU가 작업을 수행하므로) 1개의 스레드를 사용했습니다:
function limitOnnxThreads(device: 'gpu' | 'cpu') {
const cores = navigator.hardwareConcurrency || 4;
const threads = device === 'gpu' ? 1 : Math.max(1, Math.min(4, Math.ceil(cores / 2)));
...
후처리 시간이 약 10초에서 0.2초로 돌아갔습니다.
문제 4: WebGPU의 첫 번째 사진이 셰이더 컴파일 비용을 지불함
WebGPU 경로에서는 두 번째 사진은 2초가 걸렸지만, 첫 번째 사진은 페이지 로드 시마다 약 17초가 걸렸습니다. 세션 생성과 주로 첫 추론(inference) 과정에서 GPU 셰이더를 컴파일합니다.
해결책: 의도에 따라 워밍업(warm up)을 진행합니다. 사용자가 업로드 영역에 마우스를 올리거나(데스크톱) 탭할 때(모바일), 저는 다음과 같은 작업을 수행합니다:
- 모델 파일을 HTTP 캐시에 미리 가져옵니다(낮은 우선순위).
- 라이브러리의
preload()를 실제 실행과 **정확히 동일한 설정(config)**으로 호출합니다(라이브러리는 JSON.stringify(config)로 세션을 메모이제이션합니다).
- GPU에서만 작은 32x32 이미지에 대해 임시 추론(throwaway inference)을 실행합니다. 모델 입력은 고정된 크기를 가지므로, 이를 통해 실제 사진이 필요로 하는 모든 것을 컴파일할 수 있습니다.
사용자가 여전히 갤러리에서 사진을 고르는 동안, 이 모든 과정이 이미 진행됩니다. CPU에서의 워밍업 추론은 건너뜁니다. 휴대폰의 경우 실제 자르기(cutout)에 걸리는 시간만큼 오래 걸릴 것이며, 사용자 사진이 그 뒤로 지연될 것입니다. 또한 saveData나 2G 연결에서는 미리 가져오는 작업을 생략하며, 모바일에서는 업로드 상자를 탭할 때만 트리거되도록 하여 스크롤하는 것만으로는 누군가의 데이터 100MB를 소모하지 않게 했습니다.
작동하지 않았던 시도들
- 더 작은 양자화 모델("isnet_quint8", 44 MB). 다운로드 용량은 절반이었지만, 인물 사진 전체에 배경 패치들을 남겼습니다. 가치가 없습니다.
- 제3자 CDN의 HTTP 휴리스틱 캐싱에 의존하는 것. 실제로는 재방문한 방문객들이 여전히 다시 다운로드했습니다.
속도만큼이나 중요했던 사용자 경험(UX) 개선 사항들
- 업로드 상자(upload box)는 730px 노트북 화면에서 '폴드 아래(below the fold)'에 위치했습니다. 사람들은 헤드라인만 보고 이탈했습니다. 히어로 섹션(hero section)을 간소화하여 노트북과 휴대폰에서 버튼이 첫 화면에 오도록 했습니다.
- 일반적인 스피너 대신 처리하는 동안 사용자 자신의 사진을 스캐닝 라인과 함께 보여줍니다. 기다리는 시간이 훨씬 짧게 느껴지도록 만듭니다.
- 모바일에서는 "여기에 사진을 드래그하세요(Drag your photo here)"라는 레이블이 말이 안 되었습니다. 이제는 "사진 선택하기(Choose a photo)"라고 표시합니다.
결과 (Results)
| 이전 (Before) | 이후 (After) |
|---|
| 클릭 → 결과 (노트북, 첫 실행) | 43.8 s | 6.4 s |
| ... | | |
분석 기능(analytics)을 추가한 이후로 제거 작업의 약 98%가 성공했으며, 사진을 업로드하는 사람 중 절반 이상이 결과를 다운로드합니다.
크레딧 (Credits)
핵심 작업은 IMG.LY's background-removal-js (AGPL-3.0)와 ONNX Runtime Web이 수행했습니다. 유사한 것을 구축한다면 라이선스를 확인하세요.
여기에서 사용해 볼 수 있습니다: [removedefundo.com/en]. 무료이며 가입할 필요가 없고 영어, 스페인어, 포르투갈어로 작동합니다. 특히 구형 휴대폰 사용자들의 피드백을 받고 싶습니다.
이 게시물은 AI의 도움을 받아 작성되었습니다. 수치는 실제 라이브 사이트 측정값입니다.