편집 가능한 레이어를 Qwen-Image 2.1에서 추출하기: 작동하는 부분과 여전히 실패하는 부분 (로컬, 오픈 소스) Kokon

저는 로컬 사진 편집기인 Kokon의 개발자이며, 이 도구는 Qwen-Image 2.1 Turbo를 기반으로 합니다 (stable-diffusion.cpp 및 Mac용 자체 엔진에서 작동). 몇 주 전에 이곳에 게시한 적이 있습니다. 0.12 버전에서는 레이어(Layers) 기능을 추가했습니다: 이미지의 객체를 클릭하면 배경이 다시 그려진 상태로 해당 객체가 개별 레이어로 분리되며, 이후 이들을 이동시키거나 PSD 파일로 내보낼 수 있습니다. Qwen-Image 2.1은 레이어 출력이 없기 때문에, 이는 편집 모델을 둘러싼 파이프라인(pipeline)입니다:

• Select (선택): 사용자가 클릭하면 MobileSAM (ONNX, CPU, 44 MB)이 마스크를 제공합니다. 더 큰 부분을 원할 경우 다시 클릭할 수 있습니다.
• Cut out (잘라내기): CPU 기반의 매팅 모델(matting model)로 빠릅니다 (객체당 몇 초 소요).
• Quality (품질 개선): Qwen에게 머리카락이나 털과 같은 가장자리를 다시 그리도록 요청합니다.
• Fill (채우기): 마스크 처리된 Qwen-Image 편집 기능이 객체 뒤에 있던 부분을 다시 그려서, 판(plate)에 구멍이 생기지 않게 합니다. 이 단계가 비용이 많이 듭니다: RTX 5070 Ti에서 객체당 약 1525초, M2 Pro에서는 12분 정도 소요됩니다.
• Blend into scene (장면에 블렌딩) (선택 사항): 사물을 이동시킨 후, Kokon은 각 객체가 어디에 위치하는지 읽어 들입니다 (사용자가 수정 가능). 추가적인 편집을 통해 접촉 그림자(contact shadows)와 반사광이 다시 그려지며, 이는 강도로 조절할 수 있는 레이어로 제공됩니다.

솔직히 말해 여전히 실패하는 부분은 다음과 같습니다: 채우기 기능이 때때로 큰 객체가 있던 자리에 새로운 객체를 만들어냅니다 (큰 사람을 제거하면 다른 사람이 생김); 사람이나 군중을 건드리면 합쳐지거나 분리되는 현상이 발생합니다; 다른 객체 뒤에 숨겨진 객체의 부분은 절대 완성되지 않습니다; Blend 기능이 아직 자주 작동하지 않습니다; 개별 객체 단위의 블렌딩보다 전체 장면(whole-scene) 블렌딩이 더 잘 작동합니다. 8단계 모델도 처리할 수 있는 한계가 있습니다. 저는 이것을 실험적(experimental)으로 표시하고 사람들이 실제로 부딪히는 문제를 수정하는 것이, 제가 직접 테스트 사진으로 조정하는 것보다 낫다고 생각합니다. 만약 사용해 보신다면, 실패 사례(이미지 + 클릭한 부분 설명)를 보내주시는 것이 가장 유용합니다.

여기서 마지막 게시물 이후로: 0.11 버전부터는 로컬 서버가 되었습니다: 앱이 127.0.0.1의 서비스와 통신하며, '기타 장치(Other devices)'를 켜면 LAN에 있는 휴대폰이나 다른 PC에서도 사용할 수 있습니다 (비밀번호는 기본적으로 설정되어 있으며 해시 처리되고 속도 제한이 걸려 있음). NVIDIA용 Docker 이미지는 kokon-service --persistent --remote 명령어를 사용합니다.

에이전트가 이를 통해 생성하고 편집할 수 있는 MCP 서버(npm kokon-mcp)도 있습니다.

Mac 엔진: 저는 Apple Silicon용 Qwen-Image 2.1 엔진을 Swift/Metal로 작성했습니다. M2 Pro의 경우, 1MP 이미지당 약 1분이 소요되며 일반 백엔드 대비 4배 빠릅니다. 한 기여자(contributor)가 M5의 GPU 신경 가속기 경로를 추가했는데, M5 Pro에서 처리 시간이 37초에서 29초로 단축되었습니다. 이 엔진은 Turbo 모델의 Unsloth Q4_K_M을 실행합니다.

이 프로젝트는 무료이며 AGPL 라이선스를 따릅니다. 지원 시스템은 Windows / macOS 15+ / Linux이며, NVIDIA는 12GB(8GB 베타), AMD/Intel은 Vulkan을 통해 지원합니다(베타). 가중치(Weights)는 Qwen의 라이선스(비상업적) 하에 있습니다.

https://github.com/GabrieleLozupone/kokon · 0.12분 분량의 영상:

/u/Ok-Director4174가 제출함 [링크] [댓글]