샘플링 과정에서의 상실: Word Coverage Score (WCS)를 통한 LLM의 어휘 도달 가능성 평가

현대의 거대 언어 모델 (LLMs)은 방대한 잠재 어휘 (latent vocabularies)를 보유하고 있음에도 불구하고, 반복적이고 균질한 텍스트를 생성한다는 비판을 자주 받습니다. 기존 연구들이 모델의 지식과 학습 데이터에 집중해 온 반면, 본 연구에서는 언어적 다양성을 억제하는 디코딩 메커니즘 (decoding mechanics)의 역할을 조사합니다. 우리는 문맥적으로 적절한 인간의 어휘가 표준 샘플링 필터 (예: Top-$p$, Top-$k$, Min-$p$)에 의해 수학적으로 얼마나 가지치기(pruned) 되는지를 정량화하는 지표인 Word Coverage Score (WCS)를 도입합니다. WCS는 정적인 지식을 평가하는 대신, 샘플링 파라미터 (sampling parameters)의 함수로서 저빈도이며 정보량이 높은 인간 어휘의 어휘적 생존율 (lexical survival rate)을 측정합니다. 인간이 작성한 코퍼스 (corpus) 파편을 바탕으로 오픈 웨이트 (open-weight) 모델들을 감사함으로써, 우리는 논리적인 어휘 선택이 확률 공간 (probability space) 내에 존재함에도 불구하고 디코더에 의해 도달 불가능하게(unreachable) 만들어지는 양상을 식별합니다. 우리의 연구 결과는 업계 표준인 샘플링 기본 설정들이 의도치 않은 검열 메커니즘 (censorship mechanisms)으로 작용하여, 인간 표현의 독특한 질감을 균질화된 담론으로 매끄럽게 다듬어 버린다는 정량적 증거를 제공합니다. WCS는 텍스트의 일관성 (coherence)과 어휘적 풍부함 (lexical richness) 사이의 트레이드오프 (trade-off)를 최적화하기 위한 엄격한 프레임워크를 제공하며, 생성 모델에서 인간 언어의 다양성을 보존하기 위한 진단 도구로서 역할을 합니다.