메타데이터 중심의 AI 이미지 데이터셋을 위한 실용적인 구조

대부분의 AI 이미지 갤러리는 결국 '배경화면 수프(wallpaper soup)'로 변질됩니다.

아름답거나, 이상하거나, 유용하거나, 혹은 저주스러운 무언가를 지나쳐 스크롤합니다. 5초 후면 그것은 사라집니다. 해당 이미지에는 프롬프트 (prompt), 모델 이름 (model name), 출처 페이지 (source page), 태그 (tags), 또는 유용한 안전 컨텍스트 (safety context)가 있었을지도 모르지만, 피드 (feed)는 이 모든 것을 포장용 스티로폼처럼 취급합니다.

저는 다른 형태를 테스트하기 위해 GeneratedGallery를 구축해 왔습니다. 이미지가 그 주변의 흔적과 분리되지 않는 무료 AI 이미지 갤러리입니다.

사이트: https://generatedgallery.com

데이터셋 페이지: https://generatedgallery.com/ai-image-dataset

매니페스트 (Manifest): https://generatedgallery.com/index/manifest.json

데이터셋은 메타데이터 우선 (metadata-first)입니다

중요한 주의사항: 이것은 저작권이 없는 이미지 번들 (image bundle)이 아닙니다.

GeneratedGallery는 발견 및 출처 인덱스 (discovery and provenance index)입니다. 이는 공개된 이미지 레코드 (image records)를 가리키며, 가능한 경우 메타데이터 (metadata)를 함께 유지합니다. 미디어 권리는 상위 크리에이터 (upstream creator) 또는 플랫폼에 남아 있습니다. 이 구분은 매우 중요한데, 많은 AI 데이터셋 (AI dataset) 관련 논의들이 '스크레이핑 (scraping)'이라는 하나의 모호한 범주로 뭉뚱그려지면서 실제로 무엇이 공유되고 있는지 아무도 알 수 없게 되기 때문입니다.

이 프로젝트에서 유용한 단위는 파일 덤프 (file dump)가 아니라 레코드 (record)입니다.

레코드에는 다음이 포함될 수 있습니다:

이미지 URL (image URL)
썸네일 URL (thumbnail URL)
가능한 경우 프롬프트 텍스트 (prompt text)
출처 URL (source URL)
출처 플랫폼 (source platform)
가능한 경우 모델 또는 생성 메타데이터 (model or generation metadata)
카테고리 (category)
태그 (tags)
안전 라벨 (safety label)
인덱싱된 타임스탬프 (indexed timestamp)

이를 통해 갤러리는 연구 표면 (research surface)에 더 가까운 무언가로 변모합니다. 시각적으로 탐색할 수 있을 뿐만 아니라, 패턴 (patterns)을 조사할 수도 있습니다. 어떤 프롬프트가 반복되는가? 어떤 스타일이 함께 나타나는가? 어떤 카테고리가 과잉 대표되는가? 메타데이터가 어디에서 사라지는가?

프롬프트가 계속 붙어 있어야 하는 이유

프롬프트가 항상 전체 레시피 (recipe)인 것은 아닙니다. 때로는 불완전할 수도 있습니다. 때로는 오해의 소지가 있을 수도 있습니다. 때로는 생성 설정 (generation settings), LoRA, 체크포인트 (checkpoints), 후처리 (post-processing), 또는 선택 편향 (selection bias)이 더 중요할 수도 있습니다.

그럼에도 불구하고, 프롬프트 (prompt)는 유용한 맥락 (context)이 됩니다.

프롬프트는 빌더 (builders)가 의도 (intent)와 출력물 (output)을 비교할 수 있게 해줍니다. 프롬프트 작성자 (prompt writers)가 패턴으로부터 학습하도록 돕습니다. 또한 연구자들에게 대중적인 AI 이미지 문화가 스스로를 어떻게 묘사하고 있는지에 대한, 약하지만 검사 가능한 신호 (signal)를 제공합니다.

프롬프트의 흔적 (prompt trail)이 없다면, AI 이미지 갤러리는 그저 격자 (grid) 안에 나열된 분위기 (vibes)에 불과합니다.

프롬프트의 흔적이 있다면, 그것은 검색 가능한 메모리 (searchable memory)가 됩니다.

소스 링크 (source links)를 반드시 유지해야 하는 이유

소스 링크는 필요해지기 전까지는 지루한 요소입니다.

이미지를 영감의 원천으로 사용하는 경우, 소스 페이지는 맥락 (context)을 이해하는 데 도움을 줍니다. 프롬프트 트렌드를 연구하는 경우, 소스 페이지는 메타데이터 (metadata)를 검증할 수 있는 방법을 제공합니다. 생성된 미디어 (generated media)를 기반으로 도구를 구축하는 경우, 소스 링크는 기록의 정직함을 유지하는 데 도움을 줍니다.

생성된 미디어에는 지루한 배관 작업 (plumbing)이 필요합니다:

이것이 어디에서 왔는가
인덱싱 시점 (index time)에 무엇이 알려져 있었는가
무엇이 불확실한가
어떤 안전 라벨 (safety label)이 부착되었는가
나중에 무엇이 변경되었는가

이것은 화려하지 않지만, 썸네일 (thumbnails) 더미와 실제 인덱스 (index)를 가르는 차이점입니다.

공개 내보내기 (The public export)

GeneratedGallery는 아카이브가 UI 내부에 갇히지 않도록 공개 매니페스트 (public manifest)와 JSONL 내보내기 (export)를 제공합니다.

여기서 시작하세요:

데이터셋 페이지 (Dataset page): https://generatedgallery.com/ai-image-dataset
매니페스트 (Manifest): https://generatedgallery.com/index/manifest.json
프로토콜 노트 (Protocol notes): https://generatedgallery.com/protocol
크리에이터 키트 (Creator kit): https://generatedgallery.com/protocol/creator-kit

매니페스트는 지루하고 검사 가능하도록 설계되었습니다. JSONL 피드 (feed)는 일반적인 도구로 쉽게 처리할 수 있도록 설계되었습니다.

즉, 빌더 (builder)가 웹 인터페이스를 스크래핑 (scraping)하지 않고도 레코드 (records)를 노트북 (notebook)으로 가져와 단순 검색을 실행하거나, 이미지 브라우징 UI를 테스트하고, 프롬프트 분포 (prompt distributions)를 검사하거나, 이미지 팩 (image packs)을 이해하는 작은 에이전트 (agents)를 구축할 수 있음을 의미합니다.

끝없는 격자보다 작고 큐레이션된 팩이 더 낫다

제가 테스트하고 있는 또 다른 요소는 큐레이션 (curation)입니다.

GeneratedGallery는 검색 가능한 대규모 아카이브를 보유하고 있지만, 거대한 피드 (feeds)는 금방 피로감을 줍니다. 그래서 저는 Machine Dream Finds라고 불리는 작은 테마별 컬렉션 (collections)을 만들기 시작했습니다.

예시: 마법사 에어비앤비 숙소 목록 (Wizard Airbnb Listings)

https://generatedgallery.com/gallery/e083f7ed-339c-491b-a6a0-90e82efcf98e

핵심은 하나의 테마별 갤러리가 무언가를 변화시킨다는 것이 아닙니다. 핵심은 작은 팩 (packs)이 기이한 패턴 (patterns)들을 읽기 쉽게 만든다는 점입니다.

빠르게 나타나는 패턴의 몇 가지 예시는 다음과 같습니다:

존재하지 않는 상점을 위한 가짜 사치품 (fake luxury products)
부동산 매물처럼 연출된 판타지 인테리어 (fantasy interiors)
저주받은 조명 (cursed lighting)을 가진 이커머스 (ecommerce) 스타일의 사물들
서로 관련 없는 프롬프트 (prompts) 사이에서 반복되는 모델 미학 (model aesthetics)
커뮤니티 사이를 이동하는 프롬프트 파편 (prompt fragments)

무한 스크롤 (Infinite scroll)은 이러한 패턴들을 숨깁니다. 작은 팩들은 이를 드러냅니다.

다음에 원하는 것

다음 단계의 유용한 개선 사항들은 대부분 메타데이터 (metadata) 품질 작업입니다:

더 명시적인 라이선스 (license) 필드
정규화된 모델 제품군 (normalized model families)
더 명확한 소스 플랫폼 (source platform) 레이블
더 나은 중복 탐지 (duplicate detection)
안정적인 컬렉션 매니페스트 (collection manifests)
휴대 가능한 이미지 팩 (portable image packs)의 더 많은 사례

만약 여러분이 생성된 미디어 (generated media)를 활용해 무언가를 구축한다면, 레코드 구조 (record shape)에서 어떤 필드가 누락되었는지에 대한 피드백을 주시면 감사하겠습니다.

GeneratedGallery는 여기서 확인하실 수 있습니다:

https://generatedgallery.com

그리고 데이터셋 내보내기 (dataset export)는 여기서 시작됩니다:

https://generatedgallery.com/ai-image-dataset

요약하자면: 프롬프트 흔적 (prompt trail), 소스 흔적 (source trail), 그리고 안전 컨텍스트 (safety context)가 계속 결합되어 있을 때 AI 이미지 탐색은 훨씬 더 유용해집니다.