나노와일 (Nanowhale) 소개: 에이전트로 전적으로 사전 학습된 초소형 딥시크 모델

요약

나노와일(Nanowhale)은 에이전트 기반으로 완전히 사전 학습된 초소형 딥시크(DeepSeek) 모델입니다. 이 모델은 ml-intern이라는 시스템을 통해 개발되었으며, 실제 연구 및 공학적 문제를 자율적으로 해결하며 훈련되었습니다. 특히 1억만 파라미터 규모의 MoE 구조를 목표로 축소하고, `torch.compile` 등을 활용하여 성능과 효율성을 극대화했습니다.

핵심 포인트

• 나노와일은 에이전트 기반으로 사전 학습된 초소형(1억만 파라미터) 딥시크 모델입니다.
• 개발 과정에서 ml-intern 시스템을 활용하여 오버플로우 디버깅, 차원 축소 등 실제 공학적 문제를 자율적으로 해결했습니다.
• MoE 구조를 유지하면서도 소규모 환경에 최적화되었으며, `torch.compile` 등을 통해 훈련 속도를 개선했습니다.