Prompt2Fingerprint: 텍스트-가중치 생성을 통한 플러그 앤 플레이 (Plug-and-Play) LLM 핑거프린팅
요약
Prompt2Fingerprint(P2F)는 텍스트 설명을 통해 LLM의 식별 신호를 생성하는 새로운 핑거프린팅 프레임워크입니다. 기존의 미세 조정 방식과 달리 추가적인 재학습 없이 단 한 번의 순전파만으로 저차원 파라미터 증분을 생성하여 모델 출처를 추적할 수 있습니다. 이를 통해 계산 비용을 획기적으로 줄이면서도 높은 정확도와 강건성을 유지하며 모델 소유권을 관리할 수 있습니다.
핵심 포인트
- 기존 미세 조정 방식의 높은 계산 비용과 확장성 문제를 해결하기 위해 핑거프린팅을 조건부 파라미터 생성 작업으로 재정의함
- 특화된 생성기를 사용하여 텍스트 설명을 저차원 파라미터 증분으로 직접 매핑하는 플러그 앤 플레이 방식 도입
- 추가적인 모델 재학습 없이 단 한 번의 순전파(forward pass)만으로 핑거프린트 삽입 가능
- 높은 핑거프린트 정확도, 모델의 무해성, 강건성을 유지하면서 계산 오버헤드를 크게 절감
대규모 언어 모델 (LLMs)의 광범위한 배포와 재배포는 모델 출처 추적 (model provenance tracking)을 중요한 과제로 만들었습니다. 기존의 LLM 핑거프린팅 (fingerprinting) 방식, 특히 미세 조정 (fine-tuning)을 통해 식별 신호를 삽입하는 능동적 접근 방식은 높은 정확도와 강건성 (robustness)을 달성하지만, 심각한 확장성 병목 현상을 겪고 있습니다. 이러한 방식은 일반적으로 핑거프린트 삽입을 재사용 가능한 기능이 아닌 독립적이고 일회적인 최적화 작업으로 취급하며, 새로운 식별자마다 별도의 자원 집약적인 학습을 필요로 합니다. 이는 과도한 계산 비용과 배포 지연을 초래합니다. 이를 해결하기 위해, 우리는 핑거프린팅을 조건부 파라미터 생성 (conditional parameter generation) 작업으로 재정의한 최초의 프레임워크인 Prompt2Fingerprint (P2F)를 제안합니다. 특화된 생성기 (generator)를 활용함으로써, P2F는 단 한 번의 순전파 (forward pass)를 통해 텍스트 설명을 저차원 파라미터 증분 (low-rank parameter increments)으로 직접 매핑하며, 추가적인 모델 재학습 없이도 플러그 앤 플레이 (plug-and-play) 방식의 LLM 핑거프린트 삽입을 가능하게 합니다. 우리의 실험은 P2F가 높은 핑거프린트 정확도, 무해성 (harmlessness), 그리고 강건성을 유지하면서도 계산 오버헤드를 크게 줄인다는 것을 입증하며, LLM 소유권 관리를 위한 확장 가능하고 즉각적인 솔루션을 제공합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기