Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
문맥 및 토큰 수준의 임베딩을 활용하여 문장 재구성 및 번역에 강한 LLM용 워터마킹 체계인 DEW를 제안합니다. 대수적 벡터 공간 연산을 통해 의미론적 변화 속에서도 워터마크 신호를 유지하며 텍스트 품질을 보존합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기본 연구는 문장 재구성(paraphrasing) 및 번역에 대한 강건성(robustness)을 강화하기 위해 문맥(contextual) 및 토큰 수준(token-level) 임베딩을 활용하는 대규모 언어 모델(LLMs)용 의미론적 워터마킹 체계인 이중 임베딩 워터마킹(Dual-Embedding Watermarking, DEW)을 제시합니다. DEW는 신호 처리 방법론을 활용하여, 토큰 및 문맥 임베딩에 대수적 벡터 공간 연산(algebraic vector-space operations)을 적용함으로써 의미론적 변화(semantic shifts) 하에서도 점진적으로 저하되는 워터마크 신호를 도출합니다. 이 방법은 비밀 키(secret key)로 시드(seed)를 생성한 의사 난수 행렬(pseudo-random matrices)을 통해 임베딩 벡터를 투영함으로써 워터마크를 은닉합니다. 기저의 대수학에서 도출된 관련 분포들을 평가하여 DEW의 통계적 테스트 및 벤치마킹에 활용하였습니다. 여러 LLM에 걸친 실험 결과에 따르면, DEW는 경쟁력 있는 텍스트 품질을 유지하면서도 문장 재구성 후의 탐지 성능을 향상시키며, 기존의 의미론적 워터마크들이 크게 저하되는 상황에서도 번역 이후에도 탐지가 가능한 상태를 유지합니다. 이러한 결과는 DEW를 LLM 생성 텍스트를 보호하고 책임감 있는 AI 배포의 핵심 문제를 해결하기 위한 실용적이고 강력한 솔루션으로 자리매김하게 합니다.