본문으로 건너뛰기
Qiita헤드라인2026. 11. 21. 20:33
Inkling 2 Mini의 작동 원리: 중간층 3회 순환형 트랜스포머와 로컬 AI 대표 이미지

Inkling 2 Mini의 작동 원리: 중간층 3회 순환형 트랜스포머와 로컬 AI

원문 발행 2026. 11. 21. 18:06원문 언어 영어AI 한국어 번역Qiita AI 원문 보기

요약

Thinking Machines Lab은 가중치를 공개한 AI 모델 'Inkling 2 Mini'를 발표했습니다. 이 모델은 중간층을 3회 순환시키는 루프형 트랜스포머와 MoE(Mixture of Experts)를 결합하여 설계되었습니다. 총 파라미터는 26.4B이나, 동일 가중치를 재사용하는 방식을 통해 로컬 구동을 목표로 합니다.

핵심 포인트

  • Inkling 2 Mini는 루프형 트랜스포머와 MoE를 결합한 구조입니다.
  • 가중치(weight)를 공유하여 계산 깊이를 늘리고 파라미터 증가를 대체했습니다.
  • 총 파라미터는 26.4B이나, 로컬 구동을 목표로 약 20GB의 가중치를 갖습니다.
  • 핵심은 중간층 가중치 재사용으로 높은 정확도 개선을 달성한 점입니다.

AI 자동 생성 콘텐츠

본 콘텐츠는 Qiita AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
0

댓글

0