요약

Cull은 AI 이미지 데이터셋을 위한 오픈 소스 머신 큐레이션 엔진으로, 다양한 웹사이트(Civitai, X/Twitter, Reddit 등 약 340개)에서 이미지를 스크래핑하고 출처의 프롬프트를 함께 저장하는 기능을 제공합니다. 이 도구는 LoRA 학습이나 대규모 아카이브 구축에 필요한 이미지와 메타데이터를 체계적으로 수집하며, 자동 캡셔닝 및 분류 기능을 통해 사용자가 수동으로 프롬프트를 큐레이팅할 필요 없이 방대한 데이터를 효율적으로 준비할 수 있게 합니다.

핵심 포인트

• 다양한 소스(Civitai, X/Twitter, Reddit 등 약 340개)에서 이미지와 출처의 프롬프트 메타데이터를 일괄 스크래핑합니다.
• LoRA 학습이나 대규모 파인튜닝 데이터셋 구축을 위해 이미지를 지정된 주제나 스타일로 필터링하고 분류할 수 있습니다.
• 프롬프트가 없는 기존 아카이브도 자동 캡셔닝 및 비전 호출(Vision Call)을 통해 SD-prompt, booru-tags 등 다양한 메타데이터를 자동으로 생성하여 학습에 활용 가능합니다.
• 플러그인 기반의 Vision Worker 백엔드를 지원하며, 복잡한 데이터 처리 과정을 간소화하고 자동화를 극대화했습니다.