우리는 LLM (Large Language Model) 학습 전반에 걸쳐 안정적인 가중치 컨디셔닝 (weight conditioning)을 보장하는 다항식 프리컨디셔너 (polynomial preconditioner)를 통한 가중치 매개변수화 방식인 프리컨디셔닝 (PC) 레이어를 제안합니다. PC 모듈은 저차 다항식 프리컨디셔닝 (low-degree polynomial preconditioning)을 통해 가중치 행렬의 특이값 스펙트럼 (singular-value spectrum)을 재형성합니다. 학습이 완료된 후, 프리컨디셔닝된 가중치는 원래의 아키텍처로 다시 병합될 수 있으며, 추론 오버헤드 (inference overhead)를 발생시키지 않습니다. 우리는 AdamW 및 Muon 옵티마이저 (optimizers) 모두에 대해 Llama-1B 사전 학습 (pre-training) 시 제안된 PC 레이어가 표준 트랜스포머 (transformers)보다 우수함을 입증합니다. 이론적으로, 우리는 특정 심층 선형 네트워크 (deep linear networks)에 대해 각 레이어의 특이값 (singular values)을 균일하게 제한하는 것이 경사 하강법 (gradient descent)의 전역 최솟값 (global minima)에 대한 기하학적 수렴 (geometric convergence)을 보장함을 증명함으로써 이 스펙트럼 제어 원리 (spectrum-control principle)를 정당화합니다. 우리의 코드는 https://github.com/Empath-aln/PC-layer 에서 확인할 수 있습니다.