Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 LLM의 효율성과 출처 추적이라는 상충 관계를 해결하기 위해 포아송 프로세스 기반의 새로운 다중 초안 추측 샘플링 알고리즘을 제안합니다. 이 알고리즘은 높은 샘플링 효율성을 유지하면서도 자연스럽게 워터마킹이 가능하며, 초안 생성기 불변성 속성을 제공하여 기존 방식보다 우수한 성능을 보였습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델(LLMs)은 광범위한 작업에서 최첨단 성능을 달성했으며, 이는 배포의 두 가지 중요한 측면, 즉 추론 효율성과 출력 출처(provenance)를 촉진했습니다. 이 두 측면은 각각 초안 샘플링(speculative sampling)과 워터마킹(watermarking)으로 해결할 수 있습니다. 하지만 최근 연구들은 이 두 목표를 결합하는 것이 매우 비자명적이며 잠재적으로 불가능할 수 있음을 보여주었습니다. 본 논문에서는 포아송 프로세스 기반의 새로운 다중 초안 추측 샘플링 알고리즘을 개발하여 이러한 근본적인 상충 관계의 경계를 개선합니다. 제안된 알고리즘은 자체적으로 강력한 샘플링 효율성을 가지며, 더욱 흥미롭게도 자연스럽게 워터마크가 가능합니다. 즉, 추측 수용률(speculative acceptance)을 저하시키지 않으면서 편향되지 않은 워터마크를 삽입할 수 있습니다. 게다가, 저희 알고리즘은 통신 없는 정확한 리스트-커플링(list-coupling) 방식에 기반하고 있어 샘플링과 워터마킹 모두에 이점을 주는 초안 생성기 불변성(drafter invariance) 속성을 제공합니다. 이는 워터마크 강도와 샘플링 효율성을 모두 유지하는 최초의 다중 초안, 초안 생성기 불변 추측 샘플링 방식이며, 저희는 실험적으로 두 측면 모두에서 강력한 성능을 검증했습니다.