Mellum2.1의 MTP 지원에 대한 Xarbirus 풀 리퀘스트

요약

Mellum2.1은 Mellum2 Thinking의 후속 모델로, 아키텍처는 유지하되 강화학습(RL)을 통해 성능이 크게 향상되었습니다. 특히 소프트웨어 엔지니어링 분야에서 셸 및 파일 편집 도구를 활용한 실제 환경 훈련을 거치며 에이전트적 태스크 처리 능력이 대폭 개선되었습니다.

핵심 포인트

• Mellum2.1은 12B MoE 모델이며, 활성 파라미터는 2.5B입니다.
• 강화학습(RL)에 집중하여 수학, 코딩 등 다양한 분야의 성능을 높였습니다.
• 실제 환경에서 셸 및 파일 편집 도구를 사용하며 에이전트적 능력을 강화했습니다.