이미지 데이터셋 준비 도구를 오픈 소스화했습니다 — 품질 점수, 중복 제거, 누출 방지 분할, Kohya 내보내기 (순수 Python, MIT)

매번 LoRA/Dreambooth를 실행하기 전에 동일한 데이터셋 준비 스크립트(크기 조정, 중복 제거, 흐릿한 이미지 폐기, 캡션 추가, 분할)를 다시 작성하는 것에 지쳤습니다. 그래서 제가 사용하던 것을 정리하여 오픈 소스로 공개했습니다. 이 도구는 클래식 CV 신호(선명도, 노출/클리핑, 대비, 색조, 노이즈, 구도)를 기반으로 각 이미지에 점수를 매기고, 품질이 낮은 이미지를 표시하며, 정확한 중복 및 근접 중복을 제거하고, 캡션 사이드카와 함께 Kohya 스타일의 폴더로 내보냅니다. 근접 중복은 같은 학습/검증/테스트 분할 그룹으로 묶여서 누출되지 않도록 합니다. 캡셔닝은 WD14 및 Florence-2를 지원합니다. 핵심은 콘텐츠에 구애받지 않아, 각 도메인이 자체 품질 가중치와 캡션 어휘를 설정하는 작은 플러그인입니다(작동하는 “실내” 예시가 포함되어 있습니다). 순수 NumPy/Pillow로 구성되었으며 OpenCV는 사용하지 않고, CLI 또는 라이브러리로 실행됩니다. 초기 버전 0.1.0이며 MIT 라이선스입니다. 플러그인 API와 다음에 구축할 가치가 있는 분야에 대한 피드백을 받고 싶습니다. (권한이 있는 이미지에만 사용하세요.) https://github.com/snoozey-mf-bnui/pixel-curator /u/Impossible-Car-2809 님이 제출했습니다. [링크] [댓글]