Python 및 Wikitext에 최적화된 18B 토큰 기반 700M 모델 사전 학습 완료 |

요약

Python docstring 데이터 50억 토큰을 사용하여 사전 학습된 700M 파라미터 규모의 모델을 소개합니다. 이 모델은 채팅용 미세 조정 없이 다음 토큰 예측을 목적으로 설계되었습니다.

핵심 포인트

• Python 및 Wikitext에 최적화된 700M 파라미터 모델
• 50억 개의 Python docstring 토큰을 활용한 지속적 사전 학습
• 채팅용 미세 조정이 없는 순수 다음 토큰 예측 모델
• 기존 GPT-2 대비 향상된 성능 제공