LoRA는 어떻게 기억하는가? LLM 파인튜닝을 위한 매개변수 메모리 법칙

대규모 언어 모델 (LLMs)은 역동적인 실제 환경에서 효과적으로 작동하기 위해 지식을 지속적으로 학습하고 업데이트해야 합니다. 저차원 적응 (LoRA) 방식이 이러한 메모리 업데이트를 위해 널리 사용되고 있지만, 기존 연구들은 주로 정성적인 다운스트림 평가 (downstream evaluations)에 의존하고 있어, 정확한 매개변수 메모리 (parametric memory)의 정량적 용량 한계와 근본적인 역학에 대해서는 여전히 미개척 상태로 남아 있습니다. 이러한 격차를 해소하기 위해, 본 연구에서는 잠재 공간 (latent space) 내에서 통제된 메모리 용량 프로브 (memory capacity probe)로서 LoRA를 사용하여 정확한 매개변수 메모리를 체계적으로 정량화합니다. 우리는 손실 감소량 $\Delta L$을 유효 매개변수 (effective parameters) 및 시퀀스 길이 (sequence length)와 연결하는 강력한 멱법칙 (power law)인 매개변수 메모리 법칙 (Parametric Memory Law)을 소개합니다. 토큰 수준에서의 미세 분석 결과, 결정론적인 상전이 (phase transition)가 나타났으며, 이는 탐욕적 디코딩 (greedy decoding) 환경에서 예측 확률 $p > 0.5$가 축자적 회상 (verbatim recall)을 위한 충분 조건임을 입증합니다. 이러한 통찰을 바탕으로, 우리는 임계값 미만 토큰 (sub-threshold tokens)에 학습 예산을 동적으로 재배분하는 임계값 가이드 최적화 전략인 MemFT를 도입합니다. 실증적 평가를 통해 MemFT가 메모리 충실도 (memory fidelity)와 효율성을 향상할 수 있음을 보여줍니다. 코드는 https://github.com/zjunlp/ParametricMemoryLaw 에서 공개될 예정입니다.