Sapient Intelligence, HRM-Text 1B 출시: 40B 토큰, 약 $1,000의 사전 학습 비용으로 MATH 및

요약

Sapient Intelligence가 계층적 추론(HRM) 기술을 적용한 1B 파라미터 규모의 HRM-Text 1B 모델을 출시했습니다. 이 모델은 매우 적은 데이터량(40B 토큰)과 약 $1,000의 저렴한 비용으로 학습되었음에도 불구하고, MATH 및 DROP 벤치마크에서 기존 모델들을 상회하는 뛰어난 성능을 보여주었습니다.

핵심 포인트

• 16개의 GPU를 사용하여 1.9일 동안 처음부터 학습 완료
• 기존 모델 대비 약 1/1000 수준의 데이터(40B 토큰)만 사용
• MATH(56.2) 및 DROP(82.2) 벤치마크에서 Llama3.2 3B 및 GPT-3.5보다 높은 성능 기록
• MMLU 및 ARC-C 성능은 기존 소형 모델들과 대등하거나 다소 낮은 수준