트랜스포머(Transformers)는 머신러닝에 혁명을 일으켰으며, 모델에 어텐션 레이어(attention layers)를 배포하는 것은 수많은 애플리케이션에서 점점 표준이 되고 있습니다. 또한, 대규모 모델의 경우, 낮은 순위 적응(Low Rank Adaptation, LoRA)을 구현하는 것이 일반적인데, 이는 모델 매개변수를 인자화하여 훈련함으로써 놀라울 정도로 유익한 정확도-크기 트레이드오프를 달성합니다. 본 연구에서는 통합된 프레임워크를 통해 확률적 방법(stochastic methods) 하에서 이러한 모델의 훈련 가능성을 엄격하게 확립합니다. 우리는 임의의 완만한 정규화(mild regularization)에 대해, 어텐션 레이어와 얕은 신경망(shallow neural net)에 적용된 LoRA 모두 해당 Gibbs' measure에 포앙카레 부등식(Poincaré inequality)을 유도함을 증명합니다. 그런 다음 최근 결과를 활용하여 SGD를 모방하는 특정 SDE가 해당 손실을 최소화한다는 것을 알 수 있습니다. 두 경우 모두, 어텐션 및 신경망에서의 훈련 가능성에 대한 본 연구의 최초 결과는 데이터나 아키텍처 크기에 대한 어떤 가정에도 의존하지 않습니다.