Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM의 기원을 식별하기 위해 유도된 결정 영역(induced decision regions)을 활용하는 새로운 방법론인 Stemma를 제안합니다. 기존 블랙박스 방식의 한계를 극복하여 모델의 변형이나 배포 환경에서도 높은 정확도로 모델 계보를 추적할 수 있음을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기LLM 기원(Provenance) 테스트는 의심되는 LLM이 소스(source)와 동일한 계보(lineage)에 속하는지를 묻습니다. 기존의 블랙박스(black-box) 방법들은 주로 응답 수준의 특성으로부터 이러한 관계를 추론하지만, 이러한 특성들은 근본적인 의미가 변하지 않더라도 적응(adaptation)이나 배포(deployment) 과정에서 변화할 수 있어 기원 증거의 신뢰성을 약화시킵니다. 이러한 한계를 해결하기 위해, 우리는 개방형 출력(open-ended outputs)을 유한한 결정 공간(finite decision space)으로 매핑하여 유도된 결정 영역(induced decision regions)을 도입하며, 이를 통해 표면 형태의 변동(surface-form variation)을 추상화하고 기원 테스트를 결정 영역의 상속(inheritance)을 측정하는 문제로 재구성합니다. 실증적 분석 결과, 소스의 유도된 영역은 관련 없는 모델보다 관련 모델에서 더 강력하게 보존됨을 보여줍니다. 이 신호를 바탕으로, 우리는 유도된 결정 영역 상속을 안정적으로 추정하기 위해 안정성(stability), 강건성(robustness), 특이성(specificity)을 상호 보완적인 프로브 선택(probe-selection) 원칙으로 운용하는 실용적인 블랙박스 LLM 핑거프린팅(fingerprinting) 방법인 Stemma를 제안합니다. 56개의 공개 체크포인트(checkpoints)에서 추출되어 다양한 모델 가중치 변환(model-weight transformations)을 포괄하는 770개의 소스-의심 모델 쌍에 대해, Stemma는 0.967 AUC와 1% FPR에서 87.8% TPR을 달성하며 4개의 대표적인 베이스라인(baselines)을 크게 능가했습니다. 또한 91개의 배포 사례를 포함하는 1,260개의 쌍에 대해 1% FPR에서 0.995 AUC와 93.5% TPR을 달성하여, 다양한 추론 시점 배포 설정에 대한 강건성을 입증했습니다.