HuggingFace의 모델 허브(model hub)는 2026년 중반 기준으로 900,000개 이상의 모델을 보유하고 있습니다. 이 모든 모델을 aiappdex.com에 노출하는 것은 디렉토리가 아니라 노이즈를 생성하는 일이 될 것입니다. AI 도구 디렉토리를 업데이트하기 위해 매일 밤 실행되는 ETL(Extract, Transform, Load) 과정에서는 모델이 포함 대상으로 고려되기 전에 네 가지 필터를 적용합니다. 각 필터가 무엇을 하는지, 이전 필터가 놓친 무엇을 잡아내는지, 그리고 이 체인이 여전히 해결하지 못하는 부분은 무엇인지 소개합니다.

필터 1: pipeline tag — 최종 사용자 대상 작업만 선별

HuggingFace API는 모든 모델에 대해 pipeline_tag 필드를 반환합니다. 제 ETL에서 허용되는 세트는 HuggingFace의 전체 분류 체계(taxonomy)를 따르지 않습니다:

text-generation, text-classification, token-classification,
question-answering, summarization, translation, image-classification,
image-generation, image-to-text, text-to-image, automatic-speech-recognition,
...

이 과정에서 제외되는 것들: image-segmentation, object-detection, depth-estimation, tabular-regression 및 기타 수십 개의 컴퓨터 비전(computer-vision) 파이프라인들입니다. 이들은 실제 머신러닝 (ML) 작업이지만, 대부분의 디렉토리 방문자가 검색할 만한 도구는 아닙니다. 또한 pipeline_tag가 아예 없는 모델들도 제외되는데, 이는 허브 모델의 약 40%를 차지하며 주로 어댑터 가중치(adapter weights), 부분 체크포인트(partial checkpoints), 그리고 모델 자체가 아닌 모델과 함께 업로드된 미세 조정(fine-tune) 데이터셋들입니다.

이 필터 하나만으로 후보군을 약 80% 줄일 수 있습니다. 결과적으로 남은 풀(pool)은 여전히 유용할 만큼 충분히 크지만(text-generation 하나만 해도 수십만 개의 모델이 있습니다), 다룰 수 있는 수준의 숫자가 됩니다.

필터 2: 최소 좋아요(likes) 임계값 — 방치된 모델 및 테스트 업로드 필터링

HuggingFace의 모든 모델에는 likes 수가 있습니다. 현재 ETL의 임계값은 30입니다. 이보다 낮은 모델은 완전히 건너뜁니다.

30개의 좋아요(likes)는 매우 낮은 기준입니다. 이 기준이 실제로 걸러내는 것들은 다음과 같습니다: 공개용으로 의도되지 않은 테스트 업로드, 이름이 변경된 업로드로 대체된 오래된(deprecated) 모델 버전, 그리고 비공개 데이터셋으로 학습된 후 정리 없이 업로드된 인기 베이스 모델(base models)의 파인튜닝(fine-tunes) 모델들입니다. 이러한 것들은 유용한 디렉토리 항목이 아닙니다. 문서화가 되어 있지 않고, 종종 부정확하거나 자리 표시용(placeholder) 메타데이터를 가지고 있으며, API 레코드는 존재함에도 불구하고 다운로드 엔드포인트에서 빈번하게 404 오류를 반환합니다.

30개의 좋아요라는 임계값은 마법 같은 수치가 아닙니다. 이는 명백히 실수로 공개된 업로드 항목들을 더 이상 발견하지 않게 된 지점입니다. 10개의 좋아요는 여전히 많은 노이즈를 발생시켰지만, 30개는 훨씬 적었습니다. 이 임계값은 필요에 따라 pipeline_tag별로 변경할 수 있는 설정값입니다. 예를 들어, 텍스트 생성(text-generation) 모델은 더 높은 임계값의 이점을 얻으며(더 엄격한 품질을 원한다면 해당 파이프라인의 임계값을 50으로 높일 것입니다), text-to-speech와 같이 생태계가 더 작은 희귀한 파이프라인은 더 낮은 차단 기준을 사용하는 것이 더 효과적입니다.

필터 3: 마지막 수정 시점(last-modified recency) — 휴면 모델 표시

이 필터는 모델을 제외하지 않습니다. 대신 14개월 동안 수정되지 않은 모델에 low_activity 플래그를 설정합니다. 이 플래그는 Turso 데이터베이스에 저장되며, 디렉토리에서는 숨겨진 제외 항목이 아닌 "최근 활동(last active)" 라벨로 표시됩니다.

왜 제외하지 않고 플래그를 표시할까요? 오래된 모델이라고 해서 반드시 쓸모없는 모델은 아니기 때문입니다. GPT-J 6B는 2021년 모델임에도 여전히 프로덕션 스택(production stacks)에 등장합니다. BERT-base-uncased는 2019년 모델이지만 2026년에 발표된 파인튜닝(fine-tuning) 튜토리얼의 절반에서 사용됩니다. 최신성(recency)을 기준으로 제외한다면 기술적 지형을 잘못 나타내게 될 것입니다.

low_activity 플래그가 실제로 잡아내는 것: 화려하게 발표되어 초기에 많은 좋아요를 받았으나, 저자들이 새로운 아키텍처로 이동하면서 조용히 휴면 상태가 된 모델들입니다. 이 플래그가 없다면, 이러한 모델들은 유지보수가 중단되었다는 어떠한 신호도 없이 활발하게 유지보수되는 대안 모델들과 나란히 표시됩니다. 프로덕션 사용을 위해 도구를 평가하는 사람에게는 이러한 차이가 매우 중요합니다.

14개월 임계값은 HuggingFace가 모델 카드 (model cards)를 처리하는 방식과 일치합니다. 14개월 동안 수정되지 않은 모델 페이지는 코드베이스(codebase)나 해당 모델이 의존하는 업스트림 라이브러리 (upstream library)의 현재 상태를 거의 확실히 반영하지 못하기 때문입니다.

필터 4: 게이트형(gated) 및 비공개(private) 모델 — 공개 가중치(public weights) 필수

HuggingFace에서 gated: true로 표시된 모델은 다운로드를 위해 로그인과 요청 양식이 필요합니다. private: true로 표시된 모델은 아예 다운로드할 수 없습니다. 이 두 가지 모두 디렉토리에 나타나지 않습니다.

이러한 근거는 철학적인 것이 아니라 실용적인 것입니다. 방문자가 양식을 제출하지 않고는 접근할 수 없는 모델을 디렉토리에 등록하는 것은 좋지 않은 사용자 경험 (UX)입니다. 디렉토리의 가치는 "모델을 찾고, 바로 사용하는 것"에 있습니다. 게이트형 모델은 이미 승인을 받은 사람이 아니라면 그 흐름을 완전히 깨뜨립니다.

이 필터에는 한 가지 실제적인 비용이 따릅니다. 바로 일부 중요한 모델들이 제외된다는 점입니다. Meta의 Llama 3 시리즈는 게이트형으로 출시되었으며, Mistral의 여러 파인튜닝 (fine-tunes) 모델들도 초기 액세스 기간 동안 게이트형이었습니다. 디렉토리는 공개 발표 시점부터 게이트가 해제될 때까지의 기간 동안 이 모델들을 놓쳤습니다. 이는 실제적인 공백입니다. 모델 콘텐츠 업그레이드를 처리하는 3단계 콘텐츠 품질 사다리 (three-tier content quality ladder)가 여기에도 적용될 수 있습니다. 만약 제가 "액세스 요청 필요"라는 라벨과 함께 게이트형 모델을 포함하고 싶다면, 이를 위한 단계를 추가할 수 있을 것입니다. 하지만 "액세스 요청 필요"라는 경험은 디렉토리가 설계된 목적이 아니기에 현재로서는 제외하기로 결정했습니다.

이 체인이 여전히 해결하지 못하는 것

이 네 가지 필터는 다루기 쉽고 유용한 항목에 치우친 후보군을 만들어냅니다. 하지만 다음 사항들은 잡아내지 못합니다:

중복된 파인튜닝 (Duplicate fine-tunes). HuggingFace에는 수천 개의 Llama-3.1-8B 파인튜닝 모델이 있으며, 이들은 모두 파이프라인 태그 (pipeline tag) 필터를 통과하고, 충분한 좋아요를 받았으며, 공개되어 있고 활발하게 유지보수되고 있습니다. 디렉토리는 이들을 베이스 모델 (base model)별로 클러스터링 (clustering)하지만, 의미 있는 방식으로 중복을 제거하지는 않습니다. 지시 이행 (instruction-following) 모델을 찾는 사용자는 여전히 수많은 변형 모델의 벽에 부딪히게 됩니다.

모델 카드 (model card)의 품질. 네 가지 필터를 모두 통과한 모델이라 할지라도, 모델 카드에 상세 정보 없이 단순히 "[작업]을 위해 미세 조정됨 (fine-tuned for [task])"이라고만 적혀 있을 수 있습니다. 즉, 평가 결과(eval results), 의도된 용도(intended use), 알려진 한계점(known limitations) 등이 누락될 수 있다는 것입니다. ETL(Extract, Transform, Load)은 카드 텍스트로부터 품질을 신뢰성 있게 추론할 수 없습니다. 이것이 바로 Claude Haiku의 편집 생성 단계 (editorial generation step)가 처리하는 부분입니다. 즉, 청중 적합성(audience fit)과 한계점을 중심으로 구조화된 출력을 강제하는 프롬프트 기반 생성을 수행합니다. 하지만 ETL 필터가 선택하는 것은 모델의 품질이 아니라 메타데이터의 품질이라는 점을 명시할 가치가 있습니다.

가격 및 배포 복잡성 (Pricing and deployment complexity). HuggingFace는 특정 모델이 8GB의 VRAM에서 작동하는지, 전용 A100이 필요한지, 혹은 자체 호스팅 없이 추론 API (Inference API)를 통해 호출하는 것이 실용적인지에 대한 정보를 공개하지 않습니다. 해당 데이터는 API 응답에 포함되어 있지 않습니다. 이러한 데이터는 모델 사이에서 고민하는 사용자에게 디렉토리를 진정으로 유용하게 만들어 줄 구조화된 속성(structured attribute)의 일종이며, 저는 이를 ETL로 도출하기보다는 수동 편집 필드(manual editorial field)로 추가하고 싶습니다.

세 개의 AI 큐레이션 디렉토리 사이트를 운영하는 6개월간의 지속적인 실험 중 일부입니다. 여기에 언급된 기술적 주장들은 사실이며, 이 기사는 AI의 도움을 받아 작성되었습니다.