포아송 프로세스를 이용한 워터마크 가능한 다중 초안 추측 샘플링

대규모 언어 모델(LLMs)은 광범위한 작업에서 최첨단 성능을 달성했으며, 이는 배포의 두 가지 중요한 측면, 즉 추론 효율성과 출력 출처(provenance)를 촉진했습니다. 이 두 측면은 각각 초안 샘플링(speculative sampling)과 워터마킹(watermarking)으로 해결할 수 있습니다. 하지만 최근 연구들은 이 두 목표를 결합하는 것이 매우 비자명적이며 잠재적으로 불가능할 수 있음을 보여주었습니다. 본 논문에서는 포아송 프로세스 기반의 새로운 다중 초안 추측 샘플링 알고리즘을 개발하여 이러한 근본적인 상충 관계의 경계를 개선합니다. 제안된 알고리즘은 자체적으로 강력한 샘플링 효율성을 가지며, 더욱 흥미롭게도 자연스럽게 워터마크가 가능합니다. 즉, 추측 수용률(speculative acceptance)을 저하시키지 않으면서 편향되지 않은 워터마크를 삽입할 수 있습니다. 게다가, 저희 알고리즘은 통신 없는 정확한 리스트-커플링(list-coupling) 방식에 기반하고 있어 샘플링과 워터마킹 모두에 이점을 주는 초안 생성기 불변성(drafter invariance) 속성을 제공합니다. 이는 워터마크 강도와 샘플링 효율성을 모두 유지하는 최초의 다중 초안, 초안 생성기 불변 추측 샘플링 방식이며, 저희는 실험적으로 두 측면 모두에서 강력한 성능을 검증했습니다.