로컬 학습 재고찰: LLM 후 훈련을 위한 더 저렴하고 빠른 레시피

요약

본 논문은 대규모 언어 모델(LLM)의 후 훈련 과정이 전체 깊이에 걸쳐 작업 기울기를 전파하는 기존 방식을 비싸고 침습적이라고 지적하며, 새로운 방법인 LoPT(Local-Learning Post-Training)를 제안합니다. LoPT는 트랜스포머 구조의 중간 지점에 단일 기울기 경계를 설정하여 후 훈련을 수행합니다. 이 방식은 작업 목표로부터 학습하는 부분과 표현 보존을 위한 부분을 분리하고, 초기 레이어에 대한 직접적인 간섭을 최소화하면서도 높은 효율성과 성능을 달성합니다.

핵심 포인트

• 기존 LLM 후 훈련(post-training) 방식은 전체 깊이에 걸쳐 작업 기울기를 전파하여 비용이 높고 모델에 침습적일 수 있다.
• LoPT(Local-Learning Post-Training)는 트랜스포머 중간 지점에 단일 기울기 경계를 설정하는 새로운 후 훈련 전략이다.
• LoPT는 작업을 학습하는 부분과 표현 보존을 위한 부분을 분리하여, 초기 레이어의 유용한 표현 손실을 최소화한다.
• 실험 결과, LoPT는 낮은 메모리 비용, 높은 훈련 효율성, 그리고 우수한 사전 학습 능력 보존 능력을 입증했다.