독립적인 연구 프로젝트로서 2억 7천만 파라미터 규모의 언어 모델을 완전히 처음부터 개발했습니다

요약

2억 7천만 파라미터 규모의 언어 모델을 처음부터 직접 개발한 연구 프로젝트입니다. RoPE, RMSNorm, SwiGLU 등 최신 아키텍처를 적용하여 로컬 추론에 최적화된 커스텀 트랜스포머 모델을 구축했습니다.

핵심 포인트

• 270M 파라미터 규모의 언어 모델 자체 개발
• RoPE, RMSNorm, SwiGLU 등 최신 기술 적용
• Grouped Query Attention 및 자기회귀 디코더 구조 채택
• 로컬 추론 환경에 최적화된 효율적 아키텍처 설계