vLLM이 Gumbel-max 트릭을 이용해 워터마킹 기능을 추가하다: 비밀 키와 마지막 4개 토큰에서 파생된 유사 난수 노이즈를 생성하여

요약

vLLM이 Gumbel-max 트릭을 활용하여 텍스트 워터마킹 기능을 구현했습니다. 이 기능은 비밀 키와 마지막 토큰에서 파생된 유사 난수 노이즈를 원본 텍스트에 영향을 주지 않으면서 삽입합니다. GSM8K, MBPP, IFEval 등 다양한 데이터셋에서 높은 감지율과 낮은 품질 편차를 보였습니다.

핵심 포인트

• vLLM이 Gumbel-max 트릭 기반의 텍스트 워터마킹 기능을 추가했습니다.
• 워터마크는 비밀 키와 마지막 토큰에서 파생된 유사 난수 노이즈로 생성됩니다.
• 원본 텍스트에 영향을 주지 않으면서도 감지가 가능합니다.
• GSM8K, MBPP 등 주요 데이터셋에서 낮은 품질 편차를 입증했습니다.