프런티어 연구소(Frontier Lab)가 새로운 모델을 출시할 때, 보통은 "이것이 현재 가장 강력하다"라고 자신 있게 말한다. 그런데 7월 15일에 공개된 Inkling의 공지에는 다음과 같이 적혀 있다.

Inkling is not the strongest overall model available today, open or closed.

제작한 곳은 전 OpenAI CTO인 Mira Murati가 이끄는 Thinking Machines Lab이다. 이 회사에 있어서 첫 자사 모델이며, 게다가 오픈 웨이트(Open weights, 가중치를 누구나 다운로드하여 수정할 수 있는 방식)이고 라이선스는 Apache 2.0이다. 최강을 자처하지 않는 모델을 왜 '첫 수'로 선택했을까? 이 부분이 이번에 가장 흥미로운 지점이기에, 그 부분부터 풀어가 보겠다.

현재의 LLM(대규모 언어 모델)이 할루시네이션 (Hallucination, 그럴듯한 거짓말)을 남발하는 근본 원인에는 훈련의 보상 설계가 있다. 많은 모델은 "답을 내는 것"에 보상이 주어지도록 학습된다. 그러면 확신이 없더라도 무언가를 말하는 것이 이득이라는 행동이 각인된다. 시험에서 빈칸을 두는 것보다 찍는 것이 낫다는 논리와 같다.

Inkling은 여기에 반대되는 압력을 가하고 있다. Thinking Machines는 사후 훈련(Post-training) 단계에서, 해결된 실제 세계의 질문에 대해 proper scoring rule (확률 예측의 정직함을 측정하는 채점법)을 보상으로 사용하고, 나아가 "기권을 허용하는 보상 (abstention-aware rewards)"을 도입했다. 공식적인 표현이 이해하기 쉽다.

answering only pays off when the model is likely to be right

즉 "정답을 맞힐 가능성이 높을 때만 답을 하는 것이 이득이 된다"는 뜻이다. 자신감이 없다면 침묵하거나 "모르겠다"라고 답하는 것이 보상 측면에서 합리적이게 된다. 이는 벤치마크 점수를 1점 올리는 문제가 아니라, 모델의 출력을 업무에서 신뢰할 수 있는지 여부와 직결된다. RAG(검색 증강 생성)나 에이전트(Agent) 환경에서 근거 없는 단정을 태연하게 내뱉는 모델일수록 다루기 곤란하다는 것은 현장의 감각과도 일치한다. 이 부분을 훈련 단계에서부터 처리해 온 것이 Inkling의 가장 큰 주장이라고 나는 읽고 있다.

아키텍처는 평범해 보이지만 세부적인 부분에 손을 댔다. 모델 카드(Model Card)에 따르면, Inkling은 66개 층의 디코더 전용 Transformer로, 피드포워드(Feed-forward) 부분이 희소한 Mixture-of-Experts (MoE, 토큰마다 일부의 '전문가' 네트워크만 활성화하는 구조)로 되어 있다.

총 파라미터는 975B(약 1조 개)이지만, 각 토큰에서 실제로 작동하는 것은 41B뿐이다. 256개의 전문가 중 6개를 라우팅(Routing)으로 선택하고, 여기에 상시 작동하는 2개의 공유 전문가가 추가된다. 추론 비용은 총수가 아니라 '활성화된' 41B에 대체로 비례하므로, 명목상 1조 파라미터인 것에 비해 훨씬 가볍다는 것이 MoE의 장점이다.

차별점으로 눈에 띄는 것은 주의 집중 메커니즘(Attention mechanism) 주변이다. 위치 인코딩(Position encoding)에 주류인 RoPE 대신 상대적 위치 임베딩(Relative position embedding)을 채택하였고, 국소적인 부분을 보는 슬라이딩 윈도우(Sliding window) 층과 글로벌(Global) 층을 5대 1 비율로 교차하여 배치했다. 또한 key/value 투영(Projection)의 후단에 짧은 컨볼루션(Short convolution)을 넣어 국소적인 배열을 보강했다. 학습은 Muon과 Adam의 하이브리드(큰 행렬에는 Muon, 그 외에는 Adam) 방식을 사용했으며, 사후 훈련은 수학, 코드, 음성, 이미지, 채팅, 안전성에 걸쳐 3,000만 회 이상의 롤아웃(Rollout)을 수행했다고 한다.

입력은 텍스트, 이미지, 음성의 3개 모달리티(Modality)를 지원하며, 출력은 텍스트만 가능하다. 문맥 길이(Context length)는 최대 100만 토큰이다. 훈련 데이터는 45조 토큰 규모의 멀티모달 코퍼스(Multimodal corpus)라고 공지에 나와 있다 (※ 모델 카드 측에서는 구체적인 토큰 수는 명시되지 않았다). 효과 측정을 위한 벤치마크를 일부 언급하자면, AIME 2026이 97.1%, GPQA Diamond가 87.2%, SWEBench Verified가 77.6%이다. 숫자만 보면 충분히 상위권이지만, 본인들이 "최강은 아니다"라고 말하는 것은 GPT-5.6이나 Kimi K3와 같은 최전선 모델들과 나란히 놓았을 때의 이야기라고 이해해 두면 된다.

또 하나 실무적인 특징은 테스트 시의 계산량을 호출 측에서 제어할 수 있다는 점이다. Hugging Face의 해설 기사에 따르면, reasoning_effort라는 파라미터에 none / minimal / low / medium / high / xhigh / max를 전달하여 추론에 사용하는 토큰 양을 단계적으로 증감할 수 있다.

그 효과는 무시할 수 없다. 공식 발표에 따르면, 코딩 계열의 Terminal Bench 2.1에서 Nemotron 3 Ultra와 동등한 점수를 "약 3분의 1의 토큰"만으로 달성했다고 한다. 속도와 비용이 중요한 상황에서는 다이얼을 낮추고, 어려운 문제에서만 high나 max로 올리는 방식의 운용이 가능하다. API를 통해 사용하려면 Together AI가 출시 당일(day-0) 대응을 완료하여 OpenAI 호환 방식으로 호출할 수 있다.

from together import Together
client = Together()
response = client.chat.completions.create(
...

오픈 웨이트 (Open weights) 모델이라고는 하지만, 순수 상태의 Inkling은 거대하다. Hugging Face의 설명에 따르면, BF16 풀 웨이트 (Full weight)는 약 2TB의 VRAM (Hopper 세대 이후)을 요구한다. NVFP4 양자화 (Quantization) 버전이라면 약 600GB (Blackwell)까지 낮아지며, 나아가 llama.cpp/Unsloth의 1비트 양자화 GGUF라면 대략 50~100GB까지 떨어진다. 이 정도 수준이면 고용량 VRAM을 갖춘 단일 구성으로 개인도 시도해 볼 수 있는 사정권에 들어온다.

llama serve -hf unsloth/inkling-GGUF:UD-IQ1_S

그리고 Thinking Machines가 본궤도로 삼고 있는 것은, 이 가중치 (Weights)를 조직별로 미세 조정 (Fine-tuning)하여 사용하는 방식이다. 자사의 학습 플랫폼인 Tinker 위에서 64K/256K의 문맥 길이 (Context length)를 선택하여 파인튜닝 (Fine-tuning), 증류 (Distillation), 강화학습 (RL)을 수행할 수 있다. 그들이 Inkling을 "완성품이 아닌 출발점"으로 규정하며 최강을 자처하지 않는 것은, 이러한 일관된 전략의 반증이라고 보면 납득이 간다. 범용적인 1등 상품을 하나 배포하는 것이 아니라, 각 기업이 자신의 용도에 맞게 깎아낼 수 있는 소재를 배포하겠다는 도박이다. 총 파라미터 (Parameters) 276B / 구동 12B의 경량 버전인 Inkling-Small도 프리뷰로 공개되어 있어, 우선 이 모델로 감을 잡는 것이 현실적일 것이다.

강함의 순위로 논해지기 쉬운 이 분야에서, "정직함"과 "조정의 용이성"을 전면에 내세운 모델이 미국 최대 규모의 오픈 웨이트 모델로 등장했다는 사실 자체가 하나의 입장 표명이다. 벤치마크 숫자보다는, 자신의 데이터로 사용했을 때 기권 (Abstention) 동작이 어떻게 변하는지. 그 부분을 직접 만져본 뒤에 평가하고 싶은 모델이다.