Inkling: Thinking Machines Lab의 오픈 웨이트 (Open-Weights) MoE 모델 — 벤치마크, 아키텍처, 그리고 실제 경쟁력

Thinking Machines Lab (전 OpenAI CTO Mira Murati가 설립한 AI 기업)이 어제 첫 번째 Inkling 오픈 웨이트 (open-weights) 모델을 공개했습니다. Inkling은 토큰당 410억 개의 활성 파라미터(active parameters)를 가진 9,750억 파라미터 규모의 전문가 혼합 (Mixture-of-Experts, MoE) 트랜스포머 (transformer) 모델로, 네이티브 멀티모달 (multimodal) 지원 (텍스트, 이미지, 오디오, 비디오), 최대 100만 토큰의 컨텍스트 (context), 그리고 제어 가능한 추론 노력 (reasoning effort)을 특징으로 합니다. 가중치 (weights)는 Hugging Face에 공개되어 있습니다.

모두의 이목을 집중시킨 헤드라인 수치는 다음과 같습니다: 출시 첫날 Hacker News에서 935점과 229개의 댓글을 기록했습니다. 이는 중국 연구소들 (DeepSeek, Z.ai/GLM)이 담론을 주도해 온 상황에서, 미국 기업이 마침내 진정으로 경쟁력 있는 오픈 웨이트 (open-weights) 모델을 출시했을 때 얻을 수 있는 반응입니다.

하지만 전체 발표 내용, 벤치마크 (benchmark) 표, 그리고 HN 스레드를 읽어본 후의 솔직한 견해는 "Inkling이 모두를 이긴다"는 식의 단순한 결론보다는 더 미묘합니다. 무엇이 실제로 인상적인지, 어떤 부분이 부족한지, 그리고 이것이 여러분의 구축 방식에 어떤 의미가 있는지 살펴보겠습니다.

Inkling 오픈 웨이트 (Open-Weights) 모델 아키텍처: 흥미로운 선택이 담긴 MoE

Inkling은 MoE 레이어 (layer) 설계에 있어 DeepSeek-V3의 방식을 따르지만, 몇 가지 뚜렷한 선택을 했습니다:

• 256개의 라우팅된 전문가 (routed experts) + 2개의 공유 전문가 (shared experts), 토큰당 6개의 라우팅된 전문가 활성화
• 보조 손실 (auxiliary-loss)이 없는 부하 분산 편향 (load-balancing bias)을 갖춘 Sigmoid 기반 라우터 (router) (성능을 저하시키는 균형 손실 (balancing loss)이 없음)
• 현재 어디에나 쓰이는 RoPE 대신 상대적 위치 임베딩 (Relative positional embeddings) 사용 — 이들이 주장하기를 성능이 더 뛰어나고 더 긴 시퀀스 (sequences)로의 외삽 (extrapolate) 능력이 더 좋다고 합니다.
• 8개의 KV 헤드 (heads)를 가진 5:1 슬라이딩 윈도우 (sliding-window) 대 글로벌 어텐션 (global attention) 레이어
• KV 프로젝션 (projections) 이후 및 메인 스트림에 재결합되기 전 잔차 브랜치 (residual branch) 출력에서의 짧은 컨볼루션 (Short convolutions)

상대적 위치 임베딩 (relative-positional-embedding)의 선택은 주목할 만합니다. 오늘날 거의 모든 주요 모델은 RoPE (GPT-NeoX-20B / EleutherAI 시대에 도입됨)를 사용합니다. Thinking Machines는 대신 더 오래된 Shaw 스타일의 상대적 임베딩 (relative embeddings)과 짧은 컨볼루션 (short convolutions)을 선택했습니다. 이들은 여러 모달리티 (modalities)에 걸쳐 45조 개의 토큰으로 학습을 진행했으며, 아키텍처는 안정적으로 유지되었습니다. 이는 유용한 데이터 포인트입니다. RoPE는 매우 훌륭하지만, 긴 컨텍스트 (long-context) 모델을 위한 유일한 실행 가능한 접근 방식은 아닙니다.

학습에는 학습률 (learning rate)의 제곱과 결합된 가중치 감쇠 (weight decay)를 사용하는 hybrid Muon + Adam 최적화 전략이 사용되었습니다. 이는 그들의 모듈형 매니폴드 (modular manifolds) 연구에서 나온 기술입니다. 하드웨어는 NVIDIA GB300 NVL72 시스템을 사용했으므로, 저렴한 학습 과정은 아니었습니다.

Inkling-Small (전체 276B, 활성 12B)도 미리 공개되었으며, 비용은 훨씬 적게 들면서도 추론 (reasoning) 및 에이전트 (agentic) 작업에서 더 큰 형제 모델과 놀라울 정도로 유사한 성능을 보여줍니다.

벤치마크의 현실: 솔직하지만 프런티어(Frontier)급은 아님

공식 발표는 신선할 정도로 솔직합니다: "Inkling은 현재 사용 가능한 오픈 또는 클로즈드 모델 중 전체적으로 가장 강력한 모델은 아닙니다."

주요 축에 따른 GPT 5.6 Sol, Claude Fable 5, GLM 5.2, Nemotron 3 Ultra와 Inkling의 비교는 다음과 같습니다:

추세는 명확합니다. Inkling은 수학적 추론(AIME에서 97.1%)에서 경쟁력이 있고, 에이전트/코딩 작업(SWE-bench에서 Nemotron 및 GLM 5.2와 비슷한 수준)에서도 준수하지만, 어려운 추론 및 에이전트 벤치마크에서는 프런티어 클로즈드 모델들에 비해 눈에 띄게 뒤처져 있습니다.

특히 에이전트 코딩 측면에서 — Terminal Bench 2.1의 63.8%는 GLM 5.2의 82.7%와 비교했을 때 상당한 격차입니다. HN(Hacker News) 토론에서는 GLM 5.2가 최초 출시 이후 광범위한 사후 학습 (post-training) 반복 과정을 거친 반면, Inkling은 성장 가능성이 있는 첫 번째 출시 버전이라고 언급했습니다.

Inkling이 진정으로 승리하는 지점: 멀티모달 (multimodal)의 폭과 미세 조정 (fine-tunability) 가능성입니다. Inkling은 제어 가능한 사고 노력 (thinking effort)을 갖춘 단일 아키텍처 내에서 텍스트, 이미지, 오디오, 비디오를 네이티브하게 처리하는 몇 안 되는 오픈 웨이트 (open-weights) 모델 중 하나입니다. GLM 5.2나 Nemotron 모두 네이티브 오디오를 지원하지 않습니다. Inkling은 Audio MC에서 56.6%, VoiceBench에서 91.4%를 기록했습니다.

셀프 미세 조정 (Self-Fine-Tuning) 데모가 가장 흥미로운 부분

이번 발표에는 Inkling이 Tinker를 사용하여 스스로를 미세 조정하는 인터랙티브 터미널 데모가 포함되어 있습니다. 모델은 스스로 미세 조정 작업(특정 철자를 사용하지 않는 리포그램 (lipogram) 작업 — 문자 "e"를 절대 사용하지 않음)을 작성하고, 학습 데이터를 생성하며, Tinker 사후 학습 (post-training) API를 실행한 뒤, OpenCode에서 자신의 가중치 (weights)를 스스로 업데이트했습니다. 전체 루프는 약 27분이 소요되었습니다.

이것이 바로 핵심 제안입니다: 오픈 웨이트 (open weights) + Tinker 미세 조정 플랫폼. 비즈니스 모델은 "가중치는 무료로 제공하고, SFT/RL 인프라에 대해 비용을 청구한다"는 것입니다. HN 댓글 작성자들은 이것이 실효성이 있을지에 대해 논쟁했습니다. 사용자가 독립적으로 자체 호스팅 및 미세 조정을 할 수 있기 때문입니다. 하지만 GPU 인프라를 직접 관리하고 싶지 않은 팀들에게는 편의성 측면에서 강력한 논거가 됩니다.

제어 가능한 사고 노력 (controllable thinking effort) 또한 진정으로 유용합니다. Inkling은 3가지 모드 (non-thinking, high, max)를 제공하여 지연 시간 (latency)과 추론 깊이 (reasoning depth)를 맞교환할 수 있게 합니다. effort=0.99 설정 시 완전한 추론을 수행하며, non-thinking 설정 시 최대 처리량 (throughput)을 제공합니다. RL 학습 데이터에 따르면 추론 성능은 3,000만 회 이상의 롤아웃 (rollouts)을 거치며 로그 선형적으로 향상되었으며, 사고의 사슬 (chain of thought)은 시간이 지남에 따라 더 압축되고 효율적으로 변했습니다. 이는 보상 함수 (reward function)의 창발적 특성 (emergent property)입니다.

경쟁 환경: 미국의 오픈 웨이트 격차

이번 출시는 Thinking Machines가 설립되었을 때와는 매우 다른 시장에 등장했습니다:

• DeepSeek-V4와 GLM 5.2는 중국 연구소들의 오픈 웨이트 모델에 대해 높은 기준을 세웠습니다.
• GPT 5.6 Sol / Terra / Luna와 Claude Fable 5가 폐쇄형 소스 (closed-source) 프런티어를 지배하고 있습니다.
• Meta는 실망스러운 결과 이후 Llama 4에서 방향을 전환한 것으로 알려졌습니다.
• AllenAI는 아직 이 정도 규모의 모델을 내놓지 못했습니다.

Inkling은 "커스터마이징을 위한 훌륭한 오픈 웨이트 (Open-weights) 베이스" 계층에 자리 잡고 있습니다. 최고의 범용 모델은 아니지만, 멀티모달 (Multimodal) 기능을 갖춘 오픈 웨이트 모델이며 파인튜닝 (Fine-tuning) 플랫폼에서 사용할 수 있습니다. 이러한 조합은 현재 미국 생태계에서 경쟁자가 많지 않습니다.

한 흥미로운 HN (Hacker News) 스레드에서는 "미국에는 DeepSeek가 없다"라고 언급합니다. 이는 중국 연구소들이 오픈 웨이트 출시를 전략적 자산으로서 국가적 지원을 받는 반면, 미국 기업들은 수익화를 위한 주주들의 압박에 직면해 있기 때문입니다. 상장 기업인 Thinking Machines (최근 IPO를 진행함)는 새로운 비즈니스 모델을 통해 그 어려운 균형을 맞추려 노력하고 있습니다.

Inkling을 사용해야 하는 경우

이럴 때 사용하세요:

• 네이티브 멀티모달 (Multimodal) 지원(특히 오디오)을 갖춘 오픈 웨이트 모델이 필요한 경우
• 독점 데이터로 파인튜닝 (Fine-tuning)을 하고 싶고, Tinker가 이를 쉽게 만들어주는 경우
• 에이전틱 워크플로우 (Agentic workflows)를 위해 조절 가능한 사고 노력 (Thinking effort)을 원하는 경우
• 자체 호스팅 가능한 웨이트 (Blackwell용 NVFP4 체크포인트 사용 가능)가 필요한 경우

이럴 때는 건너뛰세요:

• 프런티어 (Frontier) 수준의 코딩 에이전트 성능이 필요한 경우 (Claude Fable 5가 이 분야를 압도함)
• 에이전틱 코딩 (Agentic coding)에서 순수하게 비용 최적화만을 목적으로 하는 경우 (GLM 5.2 API가 더 저렴하고 Terminal Bench에서 더 강력함)
• 워크플로우가 텍스트 전용이며 오디오가 필요하지 않은 경우

Inkling-Small은 12B의 활성 파라미터 (Active parameters)로 Inkling에 근접한 추론 성능을 보여주며 더 흥미로운 장기적 선택지이지만, 아직 프리뷰 (Preview) 단계에 있습니다.

명확한 한계점

• 사실성 (Factuality) 부족: SimpleQA Verified 점수가 43.9%로, GPT-5.6 Sol (71.6%) 및 Claude Fable 5 (68.3%)에 비해 현저히 낮습니다. 출력 내용을 주의 깊게 검증하십시오.
• 에이전트 코딩 (Agentic coding) 격차: SWE-bench Pro 54.3% 및 Terminal Bench 2.1 63.8%로, 선두 모델들을 크게 뒤처집니다. 아직 Cursor나 Claude Code를 대체할 수준은 아닙니다.
• 자체 호스팅 (Self-hosting) 비용 부담: 975B 파라미터는 BF16 기준 1.51TB를 의미합니다. 4-bit 양자화 (Quantization)를 적용하더라도 약 375GB의 VRAM (H100 5대 이상)이 필요합니다. 클라우드 또는 엔터프라이즈 환경에서만 사용 가능합니다.
• 초기 출시 리스크: Thinking Machines는 이것이 그들의 첫 번째 주요 학습 (Training) 시도임을 인정하고 있습니다. Inkling은 향후 개선될 가능성이 높지만, 현재의 벤치마크 결과는 있는 그대로의 수치입니다.

출처 (Sources)

• Thinking Machines Lab: Introducing Inkling — 2026년 7월 15일
• Hugging Face의 Inkling 가중치 (weights)
• Hacker News 토론 (935 points)
• Tinker 미세 조정 (fine-tuning) 플랫폼
• Thinking Machines Lab: Modular Manifolds 연구