수천 장의 원본 이미지에서 학습 준비가 된 데이터셋까지 — pixel-curator (유사성 학습 큐레이션 도구)

pixel-curator는 유사성 학습(identity, subject, and style 모델)을 위한 큐레이션 도구입니다. Repo: https://github.com/snoozey-mf-bnui/pixel-curator

무엇인가요? pixel-curator는 원본 이미지 또는 비디오 폴더를 받아 큐레이션되고, 점수가 매겨지고, 캡션이 달린 데이터셋을 생성하는 로컬 우선(local-first) CLI입니다. 이 데이터셋은 DreamBooth 노트북 학습이나 사내 Kohya LoRA 학습에 바로 내보낼 준비가 되어 있습니다. 이는 주로 유사성 학습을 위해 구축되었습니다. 즉, 특정 주제의 수백 또는 수천 장의 이미지를 가지고 있어 이를 신뢰성 있게 재현하는 모델이 필요한 경우입니다. 아이덴티티(Identity), 캐릭터(Character), 인물(Person), 제품(Product) 또는 특정 스타일이 이에 해당합니다. 이것이 최적화된 워크플로우이지만, 출력 결과는 다른 학습 설정에도 충분히 일반적입니다.

해결하려는 문제점: 만약 주제에 대한 1,000장 이상의 이미지를 수집했다면, 학습이 시작되기 훨씬 전에 파이프라인이 무너진다는 것을 알고 있을 것입니다. 상당수의 이미지들이 거의 중복되는 것들(near-duplicates)입니다 — 연사 촬영 사진(burst shots), 인접한 비디오 프레임, 사소하게 잘린 부분 등이 있습니다. 일부는 기술적으로 사용 불가능합니다 — 해상도가 낮거나, 초점이 흐리거나, 압축 아티팩트가 있는 경우입니다. 데이터 분포도 보통 치우쳐져 있습니다 — 한 각도의 사진이 수백 장이고, 다른 각도의 사진은 거의 없는 식입니다. 캡셔닝(Captioning) 자체만으로도 별도의 완전한 프로젝트가 됩니다. 1,792장의 이미지가 담긴 폴더를 Colab 노트북에 전달하는 것은 연결 끊김, VRAM 고갈, 일일 제한 잠금 등의 빠른 경로로 이어집니다. 현실적으로, 잘 큐레이션된 200~500장의 이미지 하위 집합이 지저분한 2,000장보다 아이덴티티 학습에서 더 나은 성능을 발휘합니다. 대부분의 작업은 그 어떤 하위 집합인지 알아내는 것입니다.

파이프라인:

1. 수집 및 사전 필터링(Ingest and prefilter): 비용이 많이 드는 과정이 실행되기 전에 기술적으로 사용 불가능한 프레임들 — 해상도 실패, 디코딩 오류, 손상된 파일 등을 제거합니다.
2. 중복 제거(Deduplication): Perceptual hash dedup은 거의 동일한 이미지를 통합합니다. 비디오, 연사 촬영 또는 스크랩을 통해 얻은 데이터셋의 경우, 이 단계만으로도 일반적으로 원본 세트의 대다수를 제거합니다.
3. 유사성 클러스터링(Similarity clustering): CLIP 임베딩과 k-means를 사용하여 임베딩 맵 시각화를 수행합니다.

이것은 데이터셋의 실제 분포 — 각도, 조명, 구도, 프레이밍 — 을 드러내어, 실패한 실행 후에 진단되는 것이 아니라 훈련 전에 불균형을 눈으로 확인할 수 있게 합니다. 4. 품질 점수화 및 분류 광학적 품질 점수화는 관련성이 있는 경우 얼굴 인식 기능을 포함하여 이미지별 상태를 할당합니다. 저품질 이미지는 훈련 신호를 희석시키기 위해 남겨두지 않고 필터링됩니다. 5. 의미론적 필터링 CLIP 텍스트 필터링과 같이, 수동 검토 없이 워터마크나 텍스트 오버레이가 있는 이미지를 자동으로 제거합니다. 6. 태그 지정 및 캡션 작성 WD14 태거(자동 다운로드)와 Florence-2 자연어 캡셔닝을 각 이미지 옆에 .txt 사이드카로 작성합니다. 7. 수동 검토 순환 과정 정적 HTML 보고서와 스프레드시트를 내보냅니다. 사용자가 보존/거부 표시를 하고, 다시 가져오면 그 결정이 적용됩니다. 이는 클래스/정규화 이미지를 다듬는 워크플로우에도 사용됩니다 — 생성된 클래스 이미지를 수동으로 다듬는 것은 약한 ID 결과에 대한 잘 알려진 해결책이며, 이것은 대규모로 실용적입니다. 8. 내보내기 패키지 kohya --mode dreambooth는 표준 Colab DreamBooth 노트북이 예상하는 번호가 매겨진 인스턴스/구조를 생성합니다: text instance/ 000001.jpg 000001.txt 000002.jpg 000002.txt dataset_config.toml package kohya --mode lora는 사내 Kohya 설정용으로 개념_/ 폴더를 사용하여 다중 컨셉 LoRA 패키징을 지원합니다. 실질적 특징 완전히 로컬 — 클라우드 없음, 계정 없음, 업로드 없음 CLI의 경우 스크립트화하고, 배치 처리하며, SSH를 통해 실행됩니다 기본적으로 파일 변경 작업을 수행하는 모든 작업에서 건너뛰기(Dry-run) 기능을 제공합니다 SQLite 매니페스트를 통해 재개 가능 — 긴 단계는 작업을 다시 할 필요 없이 중단하고 재시작할 수 있습니다 적당한 하드웨어에서 실행되도록 설계되었습니다 이전 게시물에 대한 참고 사항 제가 이전에 여기에 게시했고 GitHub 링크가 잘못된 디렉토리를 가리켰습니다. 저장소는 수정되었으며 위의 링크가 올바른 것입니다. 아무것도 유용하게 찾지 못한 분들께 사과드립니다. 만약 전에 시도했지만 작동하지 않았다면, 이제는 작동해야 합니다. 피드백 적극적으로 개발 중.

만약 이 도구를 데이터셋에 적용했을 때 문제가 발생하거나 예상치 못한 동작을 보인다면, 이슈를 열거나 댓글을 남겨주세요. 실패 사례가 현재 제가 얻을 수 있는 가장 유용한 정보입니다. https://github.com/snoozey-mf-bnui/pixel-curator 구글 Colab에서 DreamBooth 학습용 노트북 생성이 필요한 분도 알려주시면, DM으로 도와드리겠습니다. 즐거운 시간 보내세요! submitted by /u/Impossible-Car-2809 [link] [comments]