지역적 노이즈 제거의 의미론적 종 분화 분석

생성 모델의 역동성은 겉보기에는 별개의 두 가지 시간 창을 보여줍니다: 샘플이 의미론적 클래스에 전념하는 '종 분화(speciation) 창'과, 국소적 컨텍스트 창으로는 생성이 불충분해지는 '비국소성(nonlocality) 창'. 다양한 최첨단 모델에서 이 두 현상이 거의 동시에 발생하는 증거에 영감을 받아, 우리는 의미론적 정보의 공간 분포를 통해 이들의 관계를 조사합니다. '공통 원인' 가설 하에, 우리는 비국소성 창이 반드시 종 분화 창 내에 존재해야 함을 증명합니다. 이 가설은 의미론적 레이블이 먼 토큰 간 상관관계의 일부를 설명한다는 것을 전제하며, 이는 많은 실제 데이터셋에서 자연스러운 조건입니다. 나아가, 시스템 크기가 커짐에 따라 두 창 모두 단일 극한 시간으로 수축하는 조건을 제시하고, 이를 가우시안 혼합(Gaussian mixtures)에서 분석적으로 검증합니다. 종합적으로, 이러한 결과들은 의미론적 정보가 종 분화와 비국소성의 동시 발생을 설명하는 조건을 식별하며, 생성 모델링에서 의미론적 구조의 출현에 대한 두 가지 상보적인 관점을 연결합니다.