49,000개의 샘플 이미지를 활용한 Anima AI 캐릭터 및 아티스트 검색 엔진 제작

새로운 Anima Base 모델을 꽤 많이 만져보면서 많은 캐릭터가 별도의 설정 없이도 바로 잘 작동한다는 것을 발견했습니다. 그래서 캐릭터 지식의 범위가 정확히 어느 정도인지 확인하고 싶었고, 동시에 이름뿐만 아니라 다른 일반적인 특징들로도 캐릭터를 쉽게 찾을 수 있는 도구를 만들고 싶었습니다. 이것이 캐릭터 및 아티스트 태그(tag)를 위한 대규모 샘플 데이터셋을 구축하는 이 프로젝트의 시작이 되었습니다.

오늘 막 공개한 사이트는 여기서 방문하실 수 있습니다: https://animadex.net/

현재 다음과 같은 기능들을 갖추고 있습니다:

• 저작권(시리즈, 게임, 애니메이션 등) 및 필터 목록을 통한 머리카락 길이, 눈 색깔, 성별과 같은 기타 일반 속성으로 캐릭터 검색
• 상단 검색창을 통해 "genshin impact, blue hair"와 같이 모든 태그로 검색 가능
• CivitAI에서 특정 캐릭터에 대해 사용 가능한 LoRA(LoRA) 보기
• 저작권별 검색을 통해 캐릭터들이 그룹화된 모든 프랜차이즈 목록 확인 가능
• 아티스트 이름, 점수(현재 머신 이미지 분류(machine image-classification)로 평가됨), 그리고 제가 천천히 구축해 나갈 몇 가지 분류로 아티스트 검색
• 재미를 위한 랜덤 검색 셔플, A-Z 검색 및 게시물 수 기준 내림차순 정렬 (게시물 수가 많다는 것은 모델이 해당 피사체에 충분히 노출되어 학습이 잘 되었을 가능성이 높음을 의미합니다).
• 트리거(trigger) 단어 또는 트리거 + 일반 태그 복사 (현재 일부 태그를 수동으로 정제하고 있으므로, 모두 완료할 때까지 일부 태그는 의심스러울 수 있습니다).
• Danbooru에서 해당 태그들을 확인할 수 있는 링크를 제공하여, 프롬프트(prompt)가 실제로 캐릭터 디자인과 일치하는지 빠르게 확인할 수 있음

49,000개의 샘플을 생성하기 위해 RTX Pro 6000을 약 24시간 동안 가동했습니다. 약 15,000개의 아티스트 태그 이미지를 생성했지만, 캐릭터의 경우 Danbooru의 게시물 수 내림차순(여기서 가장 잘 알려진 개념을 예측하는 간단하고 순진한 방법입니다)으로 많은 샘플을 넣었음에도 불구하고 캐릭터들이 매우 일관되게 나타나 예상치 못했습니다. 결과적으로 34,000개의 캐릭터 샘플을 얻었으며, 더 계속할 수도 있었지만 현재는 비용 문제로 중단했습니다.

저는 모델이 단순히 기본적인 특징뿐만 아니라 스타일까지 알고 있는지 확인할 수 있도록, 공식 스타일(official style)로 유도하기 위해 각 이미지 생성 시 "official artwork" 태그를 사용했습니다. 단 한 번의 생성(one-shot gen)으로 항상 완벽하게 구현되는 것은 아니므로, 이를 절대적인 기준으로 받아들이지는 마세요.

현재 모델의 지식은 2024년 12월까지 반영되어 있으나, Anima의 지식 컷오프(knowledge cut-off) 날짜인 2025년 10월까지의 데이터를 수집하는 작업을 진행 중이며, 이에 맞춰 캐릭터와 아티스트를 업데이트할 예정입니다.

마지막 순간에 프레임워크를 Python Workers로 전환하면서 코드 폴더가 중복되는 등 코드 품질이 완벽하지 않은 점은 스스로도 만족스럽지 않습니다. 하지만 현재는 원활하게 작동하고 있으며, 내부에 임시 SQL 및 CSV 파일들이 흩어져 있는 상태입니다. 코드를 정리하는 대로 공개 GitHub 저장소(repo)를 개설하겠습니다.

덧붙이자면, 이 사이트에는 광고나 유료 결제 장벽(paywall)/프리미엄 콘텐츠 제한이 없습니다. 저는 매달 약간의 용돈을 들여 진행하는 취미 프로젝트이므로, 사용량과 프로젝트 비용을 모니터링하며 필요에 따라 조절할 예정입니다. 이런 방식의 웹사이트를 구축하는 것은 이번이 처음이므로, 혹시라도 예기치 못한 문제나 오류가 발생하더라도 양해 부탁드립니다. 문제가 있거나 연락하고 싶으시다면 하단의 문의 양식(contact form)을 이용해 주세요.