Random Language Model (RLM)의 스케일링 한계 (Scaling limit)

우리는 은닉 심볼(hidden symbols)의 수 $N o ext{∞}$가 증가함과 동시에 문법 온도(grammar temperature) $ ildeε_d o 0$가 고정된 $x = { ildeε}_d ext{log} N$에서 변화하는 스케일링 한계(scaling limit) 내에서, 확률적 문맥 자유 문법(stochastic context-free grammars)의 앙상블인 Random Language Model (RLM)에 대한 정량적 이론을 개발합니다. 이 한계에서, 모델은 규칙 사용 패턴(rule-usage patterns)에 대한 대편차 원리(large-deviation principle)를 기반으로 제어 가능한 설명을 허용합니다. 준-어닐링 근사(semi-annealed approximation)는 이 문제를 비자명한 조합론(nontrivial combinatorics)을 가진 Random Energy Models의 클래스로 매핑합니다. 우리는 RLM이 임계값 $x_c=1/8$에서 응축 전이(condensation transition)를 보임을 입증하며, 이 값 미만에서는 규칙 사용이 집중되고 언어 통계가 코퍼스 길이(corpus length)에 대한 비자명한 의존성을 갖게 됩니다. $x=1/2$에서의 두 번째 특성 척도는 최대값으로부터 엔트로피(entropy) 감소가 시작되는 지점을 나타냅니다. 이러한 영역 전반에 걸쳐, 우리는 서로 다른 규칙의 수, 엔트로피 및 관련 관측량에 대한 명시적인 스케일링 법칙(scaling laws)을 도출하며, 문법 크기, 코퍼스 길이 및 온도의 상호작용에 의해 제어되는 뚜렷한 스케일링, 포화 및 임계 영역을 식별합니다. 이 이론은 열역학적 전이(thermodynamic transition)의 존재에 관한 이전의 모호함을 해결하고, $ ext{log} N$에 대한 의존성의 결과로서 대규모 $N$ 한계로의 느린 접근을 설명합니다. 나아가 이는 생성 문법(generative grammars)의 전형적인 실현으로부터 언어의 보편적 통계적 특성이 나타나는 통합된 프레임워크를 제공하며, 자연어 통계와 대규모 언어 모델(large language models)의 동작 모두에 시사점을 제공합니다.