Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 연구는 파운데이션 모델 훈련의 기존 단계별 접근 방식(사전 학습, SFT, RL 등)이 근본적으로 분리된 과정이 아님을 주장합니다. 모든 단계를 하나의 우도 기반 '통합 훈련' 알고리즘으로 통합하며, 적절한 RL 목적 함수를 최대 우도 적합 방식으로 도출하는 것이 핵심입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기파운데이션 모델은 일반적으로 사전 학습(pretraining), 중간 학습(midtraining), 지도 미세 조정(supervised fine-tuning, SFT), 그리고 강화학습(reinforcement learning, RL)과 같은 단계로 훈련되며, 이 과정에서 데이터와 학습 알고리즘 모두 변경됩니다. 우리는 이러한 알고리즘적 분리가 근본적이지 않다는 것을 보여줍니다. 모델이 생성한 목표 분포에 대한 최대 우도 적합(maximum-likelihood fitting)으로 적절한 RL 목적 함수를 도출함으로써, 이 모든 단계를 하나의 우도 기반 훈련 알고리즘인 통합 훈련(unified training) 아래에 배치합니다. 이러한 관점은 파운데이션 모델의 훈련 수명 주기를 어떤 데이터를 얼마나 비율로, 그리고 언제 훈련할지 선택하는 문제로 전환하며, 기존의 단계별 훈련(staged training)을 특수한 경우로 간주합니다. 우리는 이 프레임워크를 정적 데이터와 RL 생성을 단일 트레이너 내에서 혼합하는 통합 훈련 시스템에 구현합니다. 통제된 환경과 실제 세계 실험 전반에 걸쳐, 통합 훈련은 더 넓은 역량을 보존하면서 정확도-계산량 트레이드오프(accuracy-compute tradeoff)와 태스크 커버리지(task coverage)를 개선하며, 지속적 학습(continual learning)을 위한 더 강력한 출발점을 제공합니다. 본 연구는 수학적 원리, 훈련 인프라, 그리고 모델 역량 개발을 연결하는 파운데이션 모델 훈련의 통합 과학(unified science) 기반을 마련합니다.