대규모 언어 모델(LLM)을 위한 선택적 공개 워터마킹
요약
LLM 생성 텍스트에 삽입된 워터마크의 선택적 공개를 가능하게 하는 새로운 프레임워크 HeRo를 제안합니다. 계층적 어휘 라우팅을 통해 정보 노출을 최소화하면서도 세밀한 액세스 제어와 높은 탐지 정확도를 동시에 달성합니다.
핵심 포인트
- 기존 멀티 비트 워터마킹의 정보 전체 공개 문제 해결
- 계층적 어휘 라우팅(HeRo)을 통한 선택적 메타데이터 공개 구현
- 텍스트 품질 유지를 위한 샘플링 프로세스의 편향성 제거
- 높은 탐지 정확도와 낮은 지연 시간 입증
워터마킹 (Watermarking) 방법은 대규모 언어 모델 (LLMs)이 생성한 텍스트에 인지할 수 없으면서도 검증 가능한 신호를 삽입합니다. 기존 방식에는 합성 텍스트와 인간의 글쓰기를 구분하기 위한 제로 비트 (zero-bit) 방식과 메타데이터를 삽입하기 위한 멀티 비트 (multi-bit) 방식이 포함됩니다. 그러나 현재의 멀티 비트 워터마킹 방법은 선택적 공개 (selective disclosure)를 허용하지 않습니다. 즉, 워터마크의 어떤 부분이라도 검증하려면 삽입된 메시지 전체를 공개해야 합니다. 이러한 제어 능력의 부재는 불필요한 정보 노출로 이어지며 개인정보 보호 문제를 야기합니다. 우리는 삽입된 메타데이터의 선택적 공개를 가능하게 하는 워터마킹 프레임워크인 계층적 어휘 라우팅 (Hierarchical Vocabulary Routing, HeRo)을 제안합니다. 이 방법은 어휘 (vocabulary)를 재귀적으로 분할하고 워터마크 정보를 계층적 레이어에 분산시켜, 서로 다른 검증자들이 자신의 액세스 권한 (access level)에 해당하는 페이로드 (payload) 부분만 디코딩할 수 있도록 합니다. 우리는 제안된 방식이 기저의 샘플링 (sampling) 프로세스의 편향되지 않음 (unbiasedness)을 보존하며, 따라서 텍스트 품질을 유지함을 보여줍니다. 실험을 통해 우리의 프레임워크가 높은 탐지 정확도와 낮은 지연 시간 (latency)을 달성하는 동시에 세밀한 액세스 제어 (access control)를 지원함을 입증합니다. 코드는 https://github.com/xuyangc03/hero-watermark 에서 확인할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기