TRL, 단일 노드에서 Le Chonk 후속 학습(post-train)을 위한 day-0 지원 기능을 제공하다

요약

TRL 라이브러리가 단일 노드 환경에서 Le Chonk 모델의 후속 학습(post-train)을 지원하는 day-0 기능을 제공합니다. 이 기능은 LoRA SFT 및 FP8 가중치 위에 어댑터를 학습시켜, 1조 개 매개변수 규모의 대형 모델도 효율적으로 다룰 수 있게 합니다. 전문가 병렬화와 FSDP를 활용하여 높은 처리 속도와 낮은 메모리 사용량을 달성했습니다.

핵심 포인트

• TRL이 단일 노드에서 대규모 LLM 후속 학습을 지원합니다.
• LoRA SFT 및 FP8 가중치 기반의 효율적인 어댑터 학습이 가능해졌습니다.
• 1조 개 매개변수 규모 모델도 실질적으로 접근 가능한 수준으로 진입했습니다.
• 전문가 병렬화와 FSDP를 통해 성능과 메모리 최적화를 달성했습니다.