500M 파라미터 LLM과 330M 파라미터 이미지 생성기를 처음부터 사전 학습(Pretraining) 및 사후

여러분 안녕하세요, 모두 잘 지내시길 바랍니다.
지난달에 사이드 프로젝트로 HobbyLM을 시작했습니다.
처음에는 Claude SDK를 사용하여 에이전트 하네스(Agent harness)를 작성했습니다. 이 하네스는 다양한 LLM 아키텍처에 대한 노트를 작성하고, 이 모델 학습에 최적화되었거나 잘 맞는 아키텍처를 찾기 위해 절제 연구(Ablation studies)를 수행합니다. 그 후, fineweb의 40B 토큰으로 HobbyLM 아키텍처를 사전 학습(Pretrained)하고, 컨텍스트 윈도우(Context window)를 확장하기 위해 사후 학습(Post-trained)을 진행했습니다. 그다음 이미지 이해를 위해 SIGLIP 인코더를 사용하여 옴니 모델(Omni model)을 구축했습니다.
이미지 생성기 모델 아키텍처는 ByteDance의 Dreamlite 아키텍처에서 영감을 받아 구축했으며, Midjourney, Flux에서 추출한 증류된 데이터셋(Distilled dataset)과 Google의 CCW3 데이터셋을 혼합하여 사용했습니다.
modal.com의 8xH200을 사용했으며, 지금까지 지불한 총 비용은 $800입니다.
모델 가중치(Model weights): https://huggingface.co/collections/rootxhacker/hobbylm (GGUF도 포함되어 있습니다)
플레이그라운드(Playground): https://huggingface.co/spaces/rootxhacker/HobbyLM-Playground
Github 저장소에는 학습 및 추론 엔진 코드가 모두 포함되어 있습니다: https://github.com/harishsg993010/HobbyLM/tree/main
참고: 전체 학습 프로세스를 오케스트레이션하기 위해 에이전트 하네스(Agentic Harness)로 Claude Code를 사용했습니다.
플레이그라운드에서 플레이하거나 GGUF를 로컬에서 사용하여 이 모델들을 테스트해 보고 피드백을 알려주세요.
다음 단계로 1B 파라미터 모델을 사전 학습(Pretraining) 중이며, 학습이 완료되면 여기에 공유하겠습니다.