Attention 및 Understanding LoRA의 수렴적 확률적 훈련

요약

본 논문은 트랜스포머 모델에서 핵심적인 구성 요소인 어텐션 레이어와 얕은 신경망에 LoRA(Low Rank Adaptation)를 적용한 경우의 확률적 훈련 가능성을 엄격하게 증명합니다. 연구진은 임의의 완만한 정규화 하에서, 두 구조 모두 해당 Gibbs 측정에 포앙카레 부등식을 유도함을 보였습니다. 이를 통해 SGD를 모방하는 특정 SDE가 손실을 최소화하며, 이는 데이터나 아키텍처 크기에 대한 가정을 요구하지 않는 최초의 결과입니다.

핵심 포인트

• 어텐션 레이어와 얕은 신경망에 LoRA 적용의 확률적 훈련 가능성을 수학적으로 엄격하게 확립함.
• 임의의 완만한 정규화 하에서, 두 구조 모두 Gibbs 측정에 포앙카레 부등식을 유도함을 증명함.
• SGD를 모방하는 특정 SDE가 손실 최소화를 달성한다는 것을 보였으며, 이는 훈련 방법론에 대한 새로운 이론적 기반을 제공함.
• 본 연구의 결과는 데이터 크기나 아키텍처 크기에 의존하지 않는 일반성을 가짐.