우리는 대규모 언어 모델(LLM)을 위한 왜곡 없는 워터마크인 TextSeal2를 소개합니다. 이 기술은 추측 디코딩(speculative decoding) 환경에서도 신호를 유지합니다. 즉, 거부된 초안을 대체하는 토큰들은 동일한 키로 계속 워터마킹되며 수용률에는 변화가 없습니다. 또한 출력 다양성을 보존하고 측정 가능한 추론 지연 시간(inference latency)을 추가하지 않습니다.
이전 버전인 TextSeal은 Gumbel-max 스킴에서 각 토큰을 동전 던지기(coin flip)를 통해 두 개의 키 중 하나로 라우팅하여 다양성을 복원했습니다. 하지만 이는 최적이 아닙니다. 왜냐하면 검출기가 어떤 키가 사용되었는지 알지 못한 채 두 키의 점수를 평균하기 때문입니다. TextSeal2는 대신 두 개 이상의 키를 단일 가상 키(virtual key)로 병합하고, AutoMark의 가우시안 코풀라(Gaussian copula)를 통해 새로운 노이즈와 결합합니다. 공개적으로 공유되는 키를 포함하여 모든 수의 키가 감지도를 희석시키지 않으면서 이 방식으로 병합될 수 있습니다.
추측 디코딩 하에서, TextSeal2는 초안 레이스 잔여물(leftovers of the draft races) 위에서 실행되는 추가적인 지수 레이스(exponential race)를 통해 키가 지정된 초안을 검증합니다. 메모리리스 특성 덕분에 이 레이스는 블록 검증을 재현하므로, 출력은 목표 모델을 정확하게 따릅니다.
우리는 세 가지 LLM에 대해 TextSeal2를 평가했습니다. 동등한 출력 토큰 다양성에서, TextSeal2는 $10^{-3}$의 거짓 양성률(false-positive rate)로 100개 토큰 답변을 TextSeal보다 8~22 퍼센트 포인트 더 많이 감지했으며, 후처리 로짓 최적화(post-logits optimization)가 필요하지 않으면서 textGrain과 비교할 만합니다. 추측 디코딩 하에서, 이는 각각 TextSeal 및 textGrain 대비 동일한 수용률로 200개 토큰 답변을 18 및 22 퍼센트 포인트 더 많이 감지했습니다.