NVIDIA가 Hugging Face에 Nemotron CLIMB Proxy Models를 출시했습니다

요약

NVIDIA가 스케일링 법칙(Scaling Law) 연구를 지원하기 위해 Hugging Face에 Nemotron CLIMB Proxy Models를 출시했습니다. 이 모델들은 10T 토큰으로 학습된 62M 및 350M 파라미터 규모의 소규모 디코더 전용 모델로, 대규모 컴퓨팅 자원 없이도 거대 모델의 동작을 예측할 수 있도록 설계되었습니다.

핵심 포인트

• NVIDIA의 Nemotron CLIMB Proxy Models 출시
• 스케일링 법칙(Scaling Law) 연구 최적화
• 10T 토큰 기반의 대규모 데이터 학습
• 62M 및 350M 파라미터의 소규모 디코더 전용 모델 구성
• 대규모 컴퓨팅 자원 없이도 거대 모델의 성능 예측 가능