Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Thinking Machines가 모델 크기를 1/4로 압축하면서도 성능을 유지한 Inkling-Small을 공개했습니다. 이 모델은 276B 파라미터 중 12B만 활성화하여 추론 및 에이전트 작업에서 대형 모델과 대등한 성능을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X @berryxia (자동 발견)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기주류 모델들이 모두의 관심을 한 몸에 받고 있지만, 사실 다른 많은 모델들도 끊임없이 업데이트와 반복(Iteration)을 진행하고 있습니다.
Thinking Machines 역시 계속해서 연구를 진행해 왔습니다.
그들은 대규모 언어 모델(LLM)의 크기를 1/4 수준으로 압축하면서도 성능은 거의 떨어뜨리지 않았습니다.
Inkling-Small은 총 파라미터(Parameter)가 276B이지만 활성화(Activation) 파라미터는 12B에 불과함에도 불구하고, 추론(Reasoning) 및 에이전트(Agent) 작업에서 전체 버전인 Inkling과 대등하거나 심지어 능가합니다.
HLE 점수는 31.6%로 원본의 29.7%보다 높으며, SWEBench-Verified는 80%를 초과합니다. 또한 텍스트, 이미지, 오디오를 네이티브(Native)로 지원합니다. 가중치(Weights)는 모두 오픈 소스로 공개되었으며, Tinker에서 미세 조정(Fine-tuning)도 가능합니다.
그들은 더 나은 사전 학습(Pre-training) 데이터, 온-정책 증류(On-policy Distillation), 그리고 추가 2주간의 에이전틱 코딩 강화학습(Agentic Coding RL)을 통해 대규모 모델의 능력을 훨씬 작은 활성화 파라미터 안에 효과적으로 증류해 넣었습니다.
효율성이 핵심 판매 포인트가 되었습니다. 동일한 연산 자원(Compute) 하에서 더 높은 성능을 낼 수 있으며, 비용과 효과의 균형을 맞추기 위해 가변적인 사고 강도(Variable Thinking Intensity)를 지원합니다.
12B 활성화 모델이 여러 핵심 작업에서 더 큰 버전을 대등하게 따라잡거나 능가할 수 있다는 것은, '파라미터 쌓기'가 더 이상 유일한 경로가 아님을 의미합니다. 증류(Distillation)와 학습 레시피의 진보가 효율성의 경계를 재정의하고 있습니다.
게다가 이러한 모델은 많은 시나리오에서 사용하기에 충분합니다~
주소는 댓글창을 확인하세요👇