약 1,000달러로 1B 파라미터 기초 텍스트 생성 모델을 처음부터 사전 학습하기: 기존 방식보다 연산량과 데이터 요구사항을 130~900배

요약

약 1,000달러의 저렴한 비용으로 1B 파라미터 규모의 기초 텍스트 생성 모델을 사전 학습하는 새로운 방법론을 소개합니다. HRM-Text는 계층적 재귀 구조를 활용하여 기존 방식 대비 연산량과 데이터 요구사항을 130~900배 절감했습니다. FlashAttention 3와 FSDP2 등 최신 기술을 결합하여 효율적인 분산 학습을 구현했습니다.

핵심 포인트

• 기존 방식 대비 연산량 및 데이터 요구사항을 130~900배 획기적으로 감소
• 계층적 재귀 구조(HRM-Text)를 통한 효율적인 텍스트 생성 모델 구축
• PrefixLM 패킹, FlashAttention 3, FSDP2를 결합한 최적화된 학습 프로세스
• H100 GPU를 활용하여 1B 모델을 약 1,000달러 수준의 비용으로 사전 학습 가능