Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 언어 모델의 표현 분산에 대한 새로운 이론적 관점을 제시합니다. 클래스 내 분산을 '정보 저장소'로 해석하고, 거대 카테고리 구조가 차지하는 정보 비중이 매우 낮음을 분석했습니다. 특히 토큰 내 컨텍스트가 대부분의 정보를 담당하며, 이와 관련된 하한선(converse floor) 법칙을 증명하여 모델의 작동 원리를 설명합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기언어 모델 표현에서의 클래스 내 분산은 흔히 불완전한 신경 붕괴로 해석됩니다. 우리는 이것이 할당된 정보 저장소이며, 그 할당이 어떤 법칙을 따른다고 주장합니다. 한 줄짜리 중심화 항등식(centering identity)은 우리 자신의 이전 연구를 포함하여 일련의 심플렉스 등각 조밀 틀(simplex equiangular-tight-frame) 주장을 무효화합니다. 14개 모델에 걸친 무차원 분산 공유도를 보면, 거대 카테고리 구조는 표현 분산의 412%만을 담당하며, 토큰 내 컨텍스트가 7991%를 담당하고 이 비율은 100배의 파라미터 범위에 걸쳐 안정적입니다. 이론적인 측면에서, 토큰 수준 가중치 감쇠(weight decay)는 발생 빈도(occurrence mass)가 아닌 카테고리 유형 수(type count)에 비례하여 카테고리를 패널티하며, 다음 토큰 예측을 불균형 K-클래스 문제로 축소시키는데, 이 문제의 최적화는 카테고리 노름을 유형 수 순서대로 정렬합니다. 이와 반대되는 하한선(converse floor)은 이진 카테고리에 대해 증명되었으며, 클래스 내 분산이 조건부 상호 정보량 $I( ext{토큰}; ext{컨텍스트} | ext{카테고리})$에 비례하여 최소가 되도록 강제합니다. 이 법칙은 성립합니다: 총 분산이 아니라 항등 분산(identity dispersion)이 모든 테스트된 모델과 파티션에서 이 정보를 추적하며, 이는 모델 프리(model-free) 추정 하에서도, 심지어 모델 간에도 그러한데, 한 모델의 정보가 다른 모델의 분산을 예측합니다. 그리고 사전 학습을 거치면서 카테고리 공유도는 초과하고(overshoots), 감소했다가, 자신이 담아야 할 정보가 사라지지 않았기 때문에 부분적으로 회복됩니다.