실례합니다?? @IQuest_research가 최초 토큰부터 320B 모델을 육성하고, 모든 과정에 세 명의 감독관이 있는 백만 개 이상의

요약

@IQuest_research가 최초 토큰부터 시작하여 320B 규모의 오픈 모델인 IQuest-Q1을 공개했습니다. 이 모델은 29T 학습 토큰과 컨텍스트 확장(최대 512K)을 거쳤으며, SFT, RL, MOPD 등 다단계 훈련 과정을 포함합니다. 특히 세 명의 감독관이 참여하는 백만 개 이상의 엄격한 테스트를 통과했습니다.

핵심 포인트

• 모델 규모: 총 320B 파라미터 중 15B가 활성으로 사용됩니다.
• 학습 데이터: 29T의 방대한 학습 토큰을 활용하여 훈련되었습니다.
• 컨텍스트 확장: 컨텍스트 길이를 최대 512K까지 확장했습니다.
• 엄격한 검증: 세 명의 감독관이 참여하는 백만 개 이상의 테스트를 통과했습니다.