시맨틱 핑거프린팅 (Semantic Fingerprinting)을 이용한 사전 학습된 언어 모델 메타데이터의 결측치 보충 연구

Hugging Face와 같은 플랫폼에서 호스팅되는 사전 학습된 언어 모델 (Pre-trained language models, PTLMs)은 소프트웨어 의존성 그래프와 유사한 복잡한 계보 구조를 형성합니다. 그러나 전통적인 소프트웨어 생태계와 달리, PTLM 저장소는 라이선스 (licenses), 재사용 방법 (reuse methods), 파이프라인 태그 (pipeline tags), 모델 유형 (model types), 학습 라이브러리 (training libraries)와 같은 메타데이터의 누락으로 인해 신뢰할 수 있는 출처 (provenance)가 부족한 경우가 많습니다. 이러한 격차를 해소하기 위해, 우리는 Hugging Face (HF) 설정 파일 (configuration files)과 모델 저장소 태그 (model repository tags)를 결합하여 누락된 모델 메타데이터 필드를 자동으로 보충하고 모델 계보 체인 (model lineage chains)을 재구성하는 경량화된 접근 방식인 시맨틱 핑거프린팅 (Semantic Fingerprinting, SemFin)을 소개합니다. 우리는 317,133개의 PTLM으로 구성된 대규모 데이터셋에서 SemFin을 평가했습니다. 연구 결과, 설정 파일은 일반적으로 모델을 인스턴스화하고 재사용하는 데 필요한 기술적 요구 사항을 인코딩하고 있으며, 이를 통해 특히 트랜스포머 기반 아키텍처 (transformer-based architectures)에서 모델 재사용을 위한 구조적 청사진 역할을 할 수 있음을 보여줍니다. 이러한 설정 파일과 모델 저장소 태그를 결합함으로써, SemFin은 기존의 전파 기반 보충 (propagation-based imputation) 방식보다 성능이 크게 뛰어나며, Graph Avg 및 Hub Avg 베이스라인과 비교했을 때 예측 정확도를 최대 31.4% 및 26.6%까지 향상시킵니다. 중요한 점은, SemFin이 전파 기반 방식이 실패하는 고립된 모델의 16.6%에 대해서도 메타데이터를 보충한다는 것입니다. 167,089개의 라벨이 없는 모델에 대해 누락된 재사용 방법 (reuse-method) 및 라이선스 (license) 메타데이터를 보충하기 위해 SemFin을 적용한 결과, 추적 가능한 재사용 방법 체인은 75.9%, 라이선스 계보 체인은 53.6% 확장되었으며, 이전에는 보이지 않았던 86개의 재사용 방법 패턴을 발견했습니다. 반면, 호환되지 않는 라이선스 패턴의 비율은 34.8%에서 36.8%로 소폭 증가하는 데 그쳤습니다. 이러한 발견은 자동으로 도출된 구조적 신호가 AI 자재 명세서 (AI Bills of Materials, AIBOMs)의 자동 구축을 어떻게 지원할 수 있는지 보여주며, 메타데이터를 오류가 발생하기 쉬운 수동 선언에서 모델 아티팩트 (model artifacts)로부터 직접 추론된 정보로 변환하는 데 도움을 줍니다.