주류 모델들이 모두의 관심을 한 몸에 받고 있지만, 사실 다른 많은 모델들도 끊임없이 업데이트와 반복(Iteration)을 진행하고 있습니다.

Thinking Machines 역시 계속해서 연구를 진행해 왔습니다.
그들은 대규모 언어 모델(LLM)의 크기를 1/4 수준으로 압축하면서도 성능은 거의 떨어뜨리지 않았습니다.

Inkling-Small은 총 파라미터(Parameter)가 276B이지만 활성화(Activation) 파라미터는 12B에 불과함에도 불구하고, 추론(Reasoning) 및 에이전트(Agent) 작업에서 전체 버전인 Inkling과 대등하거나 심지어 능가합니다.

HLE 점수는 31.6%로 원본의 29.7%보다 높으며, SWEBench-Verified는 80%를 초과합니다. 또한 텍스트, 이미지, 오디오를 네이티브(Native)로 지원합니다. 가중치(Weights)는 모두 오픈 소스로 공개되었으며, Tinker에서 미세 조정(Fine-tuning)도 가능합니다.

그들은 더 나은 사전 학습(Pre-training) 데이터, 온-정책 증류(On-policy Distillation), 그리고 추가 2주간의 에이전틱 코딩 강화학습(Agentic Coding RL)을 통해 대규모 모델의 능력을 훨씬 작은 활성화 파라미터 안에 효과적으로 증류해 넣었습니다.

효율성이 핵심 판매 포인트가 되었습니다. 동일한 연산 자원(Compute) 하에서 더 높은 성능을 낼 수 있으며, 비용과 효과의 균형을 맞추기 위해 가변적인 사고 강도(Variable Thinking Intensity)를 지원합니다.

12B 활성화 모델이 여러 핵심 작업에서 더 큰 버전을 대등하게 따라잡거나 능가할 수 있다는 것은, '파라미터 쌓기'가 더 이상 유일한 경로가 아님을 의미합니다. 증류(Distillation)와 학습 레시피의 진보가 효율성의 경계를 재정의하고 있습니다.

게다가 이러한 모델은 많은 시나리오에서 사용하기에 충분합니다~
주소는 댓글창을 확인하세요👇