7B 모델이 실제로 외울 수 있는 고유 데이터가 약 3GB 수준이라는 계산이 나왔다.

ICML 논문은 GPT 스타일 모델의 암기 용량을 파라미터당 3.6비트로 추정했다. 그래프에서 학습 데이터가 증가할수록 의도치 않은 암기량이 정점을 찍은 뒤 감소하는 구간이 선명하게 드러난다. 모델이 훈련 데이터를 통째로 복사하는 대신 한정된 용량 안에서 패턴을 압축하고 일반화한다는 점을 정량적으로 보여주는 결과다.

이 한계는 프라이버시 측면에서 역설적인 효과를 낳는다. 데이터 규모가 모델의 암기 용량을 넘어설수록 특정 학습 예시가 그대로 남아 있을 가능성이 줄어든다. 대량의 데이터를 쓰는 것이 오히려 개별 정보 보호에 유리해질 수 있다는 뜻이다.

암기 용량이 파라미터 수에 비례해 선형적으로 제한된다는 사실은 앞으로 모델을 키우는 방식과 데이터 구성 전략을 근본적으로 재검토하게 만드는 계기가 될 것이다.