우리는 모델이 데이터 포인트에 대해 얼마나 알고 있는지 추정하는 새로운 방법을 제안하며, 이를 사용하여 현대 언어 모델 (Language Models)의 용량 (Capacity)을 측정합니다. 언어 모델의 암기 (Memorization)에 관한 이전 연구들은 암기와 일반화 (Generalization)를 분리하는 데 어려움을 겪었습니다. 우리는 암기를 두 가지 구성 요소로 공식적으로 분리합니다: 특정 데이터셋에 대해 모델이 포함하고 있는 정보인 의도하지 않은 암기 (Unintended memorization), 그리고 실제 데이터 생성 프로세스 (Data-generation process)에 대해 모델이 포함하고 있는 정보인 일반화 (Generalization)입니다. 일반화를 완전히 제거하면 전체 암기량을 계산할 수 있으며, 이는 모델 용량에 대한 추정치를 제공합니다. 우리의 측정 결과에 따르면 GPT 스타일의 모델은 파라미터당 약 3.6 비트 (bits)의 용량을 가진 것으로 추정됩니다. 우리는 점진적으로 크기가 커지는 데이터셋으로 언어 모델을 학습시키며, 모델이 용량이 찰 때까지 암기하다가 그 시점에서 "그로킹 (Grokking)"이 시작되고, 모델이 일반화를 시작함에 따라 의도하지 않은 암기가 감소하는 것을 관찰합니다. 우리는 500K에서 1.5B 파라미터에 이르는 수백 개의 트랜스포머 (Transformer) 언어 모델을 학습시켰으며, 모델 용량 및 데이터 크기와 멤버십 추론 (Membership inference) 사이의 관계를 나타내는 일련의 스케일링 법칙 (Scaling laws)을 도출했습니다.

arXiv : https://arxiv.org/abs/2505.24832
Full Paper : https://arxiv.org/pdf/2505.24832
submitted by /u/pmttyji
[link] [comments]