4B는 모자라고 8B는 넘칠 때 고를 중간 크기 모델이 나왔음.

원문 발행 2026. 10. 30. 19:53원문 언어 한국어X 새 AI 모델 원문 보기

요약

호주 AI 회사 Maincode가 Qwen3 모델을 결합하여 중간 크기의 오픈 웨이트 모델 'Matilda Platypus'를 공개했습니다. 이 모델은 큰 부모와 작은 부모의 장점을 합치고 연결층 학습을 통해 성능과 효율성을 모두 높였습니다. 1.5B부터 13B까지 다양한 크기로 제공되며, Apache 2.0 라이선스로 배포되었습니다.

핵심 포인트

Qwen3-8B와 Qwen3-14B를 결합하여 중간 규모 모델(예: 13B)을 생성했습니다.
모델은 연결층 학습과 웹/코드 데이터 기반의 경량 강화학습 과정을 거쳤습니다.
1.5B부터 13B까지 다양한 크기로 제공되며, 추가 파인튜닝이 가능합니다.
모든 모델은 베이스 모델이며, 채팅용으로 바로 사용하기는 부적합합니다.

4B는 모자라고 8B는 넘칠 때 고를 중간 크기 모델이 나왔음.
호주 AI 회사 Maincode가 Qwen3 모델 두 개를 이어 붙여 만든 오픈 웨이트 Matilda Platypus임.

13B 모델은 작은 쪽 부모 Qwen3-8B보다 벤치마크 13개 중 11개에서 높고 큰 쪽 부모 Qwen3-14B도 3개에서 앞섰음. 계산량은 14B의 91% 수준(회사 발표).

핵심:
① 큰 모델의 아래층과 작은 모델의 위층을 잘라 잇고 이음매에는 두 모델의 내부 표현을 맞춰 주는 연결층 하나를 학습시킴. 13B는 Qwen3-14B 아래 29개 층 위에 Qwen3-8B 위쪽 13개 층을 얹은 구성
② 아래 블록은 공개 가중치 그대로 얼려 두고 연결층과 위 블록만 웹 글·코드·수학 데이터 수십억 토큰으로 가볍게 맞춘 뒤 코드·수학 문제로 짧게 강화학습함
③ 크기는 1.5B, 1.6B, 5B, 6B, 7B, 11B, 12B, 13B 8종이고 일반 오픈 웨이트 모델처럼 추가 파인튜닝도 됨

10월 30일 공개를 알렸고 8종 모두 Hugging Face에 Apache 2.0 라이선스로 올라가 있음. 모델마다 기술 보고서가 같이 들어 있음.

한 가지 주의할 점은 전부 지시 학습도 안전 조정도 안 한 베이스 모델이라는 것. 채팅용으로 바로 쓰는 모델은 아님. 1.5B는 작은 부모(0.6B)는 13개 전부 넘었지만 큰 부모(1.7B)는 하나도 못 넘었고 계산량 비율도 실제 속도나 비용을 잰 값은 아니라고 회사가 직접 적어 둠.

원문↓
https://t.co/AFBE11lSfj

AI 자동 생성 콘텐츠

원문 바로가기

4B는 모자라고 8B는 넘칠 때 고를 중간 크기 모델이 나왔음.

요약

핵심 포인트

댓글