SSG: LLM 워터마킹을 위한 로그트 균형형 어휘 분할

요약

본 논문은 LLM이 생성한 콘텐츠의 저자성 추적을 위한 워터마킹 기술을 다루며, 특히 기존 방법(KGW)이 엔트로피가 낮은 환경에서 성능이 저하되는 문제를 해결하고자 합니다. 연구진은 '워터마킹 강도'라는 개념을 정의하고, 이를 높이기 위해 어휘 분할 알고리즘을 재설계한 SSG(Sort-then-Split by Groups) 방법을 제안합니다. 이 방법은 어휘를 두 개의 로그트 균형형 부분집합으로 나누어 각 토큰 예측의 워터마킹 강도 하한을 높임으로써, 코드 생성 및 수학적 추론과 같은 까다로운 환경에서도 워터마킹 탐지성을 향상시킵니다.

핵심 포인트

• LLM 콘텐츠 저자성 추적을 위한 워터마킹 기술이 중요하게 부상하고 있다.
• 기존의 무작위 어휘 분할 기반 방법(KGW)은 코드 생성 등 엔트로피가 낮은 환경에서 효과성이 떨어진다.
• '워터마킹 강도'는 다음 토큰 예측 확률 분포와 관련된 특성으로, 워터마킹 효과성을 결정한다.
• 제안된 SSG(Sort-then-Split by Groups) 방법은 어휘를 두 개의 로그트 균형형 부분집합으로 분할하여 워터마킹 강도의 하한을 높인다.
• SSG는 코드 생성 및 수학적 추론 데이터셋에서 그 효과성이 입증되었다.