매일 개발을 하며 얻은 지식을 발신하는 동시에, '있으면 편리할 것 같다', '만들어 보고 싶다'고 생각한 아이디어를 구체화하고 있습니다.
지금까지 그룹 여행 앱 Trip Supporter, 스코어 관리 서비스 PointPia, 실시간 공유 서비스 JustNow 등을 개발했습니다.
또한, 자수나 오리지널 캐릭터를 중심으로 한 의류 브랜드 **MAD TOMMY WITH...**도 운영하고 있습니다.
개발한 서비스와 기술 기사는 chicchi.work에서 소개하고 있습니다.
결론 (TL;DR)
- Thinking Machines Lab은 미국 시간 2026년 11월 20일, 가중치(weight)를 공개한 AI 'Inkling 2 Mini'를 발표했습니다. 이 모델은 중간층을 3회 통과시키는 루프형 트랜스포머와 MoE(Mixture of Experts)를 결합한 모델입니다.
- 총 파라미터는 26.4B이지만, 약 20GB의 가중치로 로컬 구동을 목표로 설계되었습니다. 다만, 동작에 필요한 메모리나 추론 비용이 반드시 20GB인 것은 아닙니다.
- 개발에 적용해 볼 경우, 대응 런타임(runtime), 32GB 이상의 메모리, 실제 코드 작업에서의 정확도를 확인하고, 에이전트에 의한 파괴적인 조작에는 승인을 남기는 것이 안전합니다.
'AI 모델을 똑똑하게 만들려면 파라미터(학습된 수치)를 계속 늘리는 것밖에 방법이 없다'고 생각하기 쉽습니다. 하지만 모델 중에는 동일한 계산 구성 요소를 반복적으로 사용하고, 저장하는 가중치를 늘리지 않으면서 계산을 깊게 하는 설계도 있습니다.
2026년 11월 21일(일본 시간), Thinking Machines Lab의 Inkling 2 Mini가 Hacker News에서 주목받았습니다. 11월 21일 18:02 JST경에 게시 페이지를 확인했을 때 937포인트, 175개의 댓글이 있었습니다. 이는 영어권 중심의 게시판 투표 및 토론 건수이며, 조회수 면에서도 '세계에서 가장 인기 있는' 수치를 의미하지는 않습니다. 발표 주체 측의 게재일은 11월 20일이므로, 일본 시간 11월 21일자 신규 발표라고 단정하기보다는 오늘 주목받고 있는 전날 발표 기술로 다루겠습니다.
Hacker News 원 게시물 / Thinking Machines Lab 공식 발표 (확인일: 2026년 11월 21일)
이 모델의 핵심은 '작은 모델인데 마법처럼 모든 것을 할 수 있다'는 이야기가 아닙니다. 저장하는 가중치의 양, 1 토큰(AI가 읽고 쓰는 문자 단위)을 처리하는 계산량, 답변의 정확도를 개별적으로 설계했다는 점입니다.
트랜스포머(Transformer)는 문장 속 단어들 간의 관계를 계산하여 다음 토큰을 예측하는 AI의 기본 구조입니다. 일반적으로 이전 레이어에서 다음 레이어로 각 레이어를 한 번씩 통과시킵니다.
Inkling 2 Mini에서는 저장된 24개 레이어를 6개 레이어씩 4개의 블록으로 다룹니다.
| 블록 | 통과 횟수 | 역할의 이미지 |
|---|
| 첫 번째 (6개 레이어) | 1회 | 입력을 내부 표현으로 변환 |
| 두 번째・세 번째 (총 12개 레이어) | 3회 | 동일한 중간층 가중치를 재사용하여 계산을 중첩함 |
| 네 번째 (6개 레이어) | 1회 | 마지막 출력에 연결 |
| 합계 | 48개 레이어 분의 적용 | |
| 다만, 저장되는 가중치는 24개 레이어분입니다. | | |
즉, 흐름을 간단히 설명하면 '입력 → 첫 번째 6개 레이어 → 중간 12개 레이어를 3회 순환 → 마지막 6개 레이어 → 출력'입니다. 중요한 점은 중간층을 3배 복사하는 것이 아니라, 동일한 가중치를 재사용한다는 것입니다. 24개 레이어의 모델을 그대로 48개 레이어의 별도 모델로 저장하는 것은 아닙니다.
공식 발표에 따르면, 중간 12개 레이어를 반복하는 것이 마지막 12개 레이어를 반복하는 것보다 평가 항목 28개 중 27개에서 큰 정확도 개선을 보였다고 보고되었습니다. 하지만 이는 개발 주체의 특정 비교 실험일 뿐이며, 모든 모델에서 중간층을 3회 순환하면 반드시 똑똑해진다는 일반 법칙은 아닙니다.
같은 레이어를 통과시키는 것만으로는, 두 번째 순환부터는 같은 반복이 될 가능성이 높습니다. 이때 사용되는 것이 이전 순환에서 얻은 정보를 다음 순환으로 전달하는 message와 그 정보를 얼마나 사용할지 학습하는 **gate(게이트)**입니다.
나아가 attention residuals라는 방법을 통해 현재 레이어는 과거 블록이 내보낸 정보로부터 필요한 정보를 조합합니다. 단순히 직전의 출력을 덮어쓰는 것이 아니라, 이전 상태와 새로운 계산 결과를 조정하면서 나아가는 설계입니다.
학습 초기에는 이전 순환으로부터의 message를 게이트로 거의 통과시키지 않다가, 학습이 진행됨에 따라 활용도를 높인다고 공식 기술 해설은 설명합니다. 이것이 루프 도입 시 안정화책입니다.
일차 정보: Looping design 설명 (확인일: 2026년 11월 21일)
또 다른 장치는 **MoE(Mixture-of-Experts)**입니다. AI 내부의 여러 전문적인 계산 경로(expert) 중에서 입력에 맞는 일부만을 선택하여 작동시킵니다. 모델 카드에 따르면, Inkling 2 Mini는 각 레이어에서 128개의 expert 중 8개를 사용합니다.
여기서는 숫자의 읽기 차이에 주의가 필요합니다.
| 공표 값 | 의미하는 바? |
|---|
| 26.4B | 저장되는 모델 전체의 파라미터 수 (264억) |
| 3.4B active | 일반적인 활성화 파라미터 수로 기재된 값 (34억) |
| 5.4B weight activations/token | 중간 레이어 3회 순환을 포함하여, 토큰당 가중치가 사용되는 총량 (54억 상당) |
| 약 20GB | 공개 체크포인트의 파일 크기 및 가중치 메모리 규모의 예상치 |
'3.4B active이므로 34억 파라미터 모델과 같은 계산량'이라는 의미가 아닙니다. 루프를 통해 동일한 가중치를 반복 사용하기 때문에, 총 5.4B 상당의 활성화가 발생합니다. 반대로, 48개 레이어에 대해 계산하므로 가중치 저장 용량이 48개 레이어분 필요하다는 의미도 아닙니다.
개발사는 학습 도중에 expert를 384개에서 128개로 줄인 후, 대규모 모델에서 얻은 1조 토큰의 학습 데이터를 사용하여 성능을 회복시켰다고 설명합니다. 이는 **가지치기(pruning)와 복구 학습(healing)**이라는 설계입니다.
가중치의 대부분은 4비트 부동소수점인 NVFP4, 마지막 4개 레이어는 8비트의 MXFP8으로 학습 및 배포되었습니다. 낮은 비트로 표현함으로써 메모리를 절약하는 한편, 기종이나 추론 소프트웨어에 따라 작동 속도는 다릅니다.
공식 벤치마크(공통 과제를 사용하는 성능 시험) 중 대표적인 예시를 발췌했습니다. 개발사가 공표한 평가 결과이며, 필자가 동일 환경에서 독립적으로 재측정한 값이 아닙니다.
| 평가 | Inkling 2 Mini | 비교 예시 | 읽는 법 |
|---|---|
| DeepSWE v1.1 | 48.2% | Qwen3.8-27B: 42.2% | 지정 조건에서 소프트웨어 과제를 해결한 비율 |
| Terminal Bench v2.1 | 71.6% | Qwen3.8-27B: 73.0% | 모든 개발 과제에서 이기는 것은 아니다 |
| DeepSearchQA | 85.3% | Qwen3.8-27B: 79.7% | 검색 및 도구를 사용하는 구성에서의 평가 |
| GPQA Diamond | 86.6% | Qwen3.8-27B: 90.5% | 어려운 지식/추론 과제에서는 뒤처질 수 있다 |
같은 벤치마크에서도 에이전트 설정, 검색/도구 유무, 모델의 사고량에 따라 결과가 달라집니다. 공표된 표의 값만으로 '항상 최고 성능'이라고 단정할 수는 없습니다.
또한, 루프를 통해 증가하기 쉬운 것은 계산을 순차적으로 진행하는 능력이지, 사실을 기억하는 용량이 아니라고 개발사 역시 설명합니다. 검색 기능을 이용하면 지식 부족을 보충하기 쉬워지지만, 환각(hallucination, 그럴듯한 오정보)이나 긴 지시사항을 따르지 못하는 문제가 사라지는 것은 아닙니다.
출처: 원본 정보: 능력/비교표/제한 사항 / Model Card (확인일: 2026년 11월 21일)
체크포인트가 약 20GB라도, 20GB의 RAM이 있다고 해서 충분하다는 보장은 없습니다. 모델 본체 외에 임시 계산 영역, 대화 기록을 처리하는 메모리, 추론 구현의 오버헤드가 필요합니다.
공식 모델 카드에서 언급하는 대응 예시는 Apple Silicon이라면 32GB 이상의 메모리를 탑재한 Mac과 Ollama 같은 추론 런타임(모델을 실행하는 소프트웨어), NVIDIA 환경이라면 DGX Spark 등입니다. 다른 GPU에서는 32GB 이상의 VRAM을 권장합니다. 최대 컨텍스트 길이는 100만 토큰 대응이지만, 그 길이를 로컬 기기에서 실용적인 속도와 메모리 용량으로 다룰 수 있다는 보장은 없습니다.
도입 전에 다음 순서로 확인하는 것이 좋습니다.
- 이용 조건: 배포 라이선스는 Apache 2.0입니다. 이용 약관 및 모델 카드의 사용 제한도 확인해야 합니다.
- 실행 환경: 보유한 Mac/GPU의 메모리 용량, Ollama나 llama.cpp 같은 대응 상황, 지원하는 양자화 형식 등을 확인합니다.
- 본인의 용도 평가: 영어 벤치마크 순위만으로 결정하지 말고, 한국어 답변이나 실제 리포지토리 수정으로 테스트해봅니다.
- 안전 대책: 에이전트는 격리 환경에서 구동하고, 파일 삭제, 덮어쓰기, 외부 전송에는 명시적인 승인을 거칩니다.
특히 모델 카드에서는 로컬 AI 에이전트가 확인 절차 없이 파일을 삭제하거나 덮어쓸 가능성이나, 수행 내용을 정확하게 보고할 수 없는 경우가 있다고 경고하고 있습니다. 로컬 실행만으로 안전한 운영이 되는 것은 아닙니다.
외부로 소스 코드를 전송하는 것을 피하는 AI 활용법에 대해 NTT의 AI 취약점 분석이 48%에서 63%로 개선된 사례와 '소스 코드를 외부에 노출하지 않는 "소버린 AI(Sovereign AI)"란'이라는 글도 소개하고 있습니다. 이는 별개의 연구이지만, 로컬 환경에서 AI를 활용할 때의 설계 및 검증 사고방식을 보충할 수 있습니다.
루프형에는 또 다른 중요한 논점이 있습니다. 일반적인 AI는 생각을 문장으로 출력하지만, 중간층 계산이 늘어나면 문장에 쓰이지 않는 내부 계산도 증가합니다.
Thinking Machines Lab은 순환 횟수를 변경할 수 있는 연구용 별도 모델을 사용하여, 언어로 추론을 쓰지 않고 처리할 수 있는 과제의 길이 등을 조사했습니다. 발표에 따르면, 1회 순환 시 16초였던 지표가 3회 순환 시 37초로 늘어났다고 합니다. 다만, 이는 인간의 시간을 기준으로 환산하는 특정 벤치마크일 뿐 "AI의 실제 사고 시간이 37초"라는 의미는 아닙니다.
순환 횟수를 늘리면 문장으로 나타나는 추론은 짧아졌지만, 이번 규모의 실험에서는 문장의 가독성이나 감사 가능성이 명확하게 악화되는 경향은 확인되지 않았다고 합니다. 한편, 그 결과가 더 대규모 모델에도 적용될지는 미해결입니다. 눈에 보이는 추론이 짧다고 해서 내부적으로 아무것도 생각하지 않은 것은 아닙니다.
모델의 성능뿐만 아니라, 어디까지 관찰하고 제어할 수 있는지가 에이전트의 안전성과 관련됩니다. 모델 선택 방법이나 API를 통한 실행 용도를 비교하는 예시로 'Codex Day 22: GPT-6.1 Terra 완벽 해설 | 성능·API 요금·컴퓨터 사용'도 참고가 됩니다. 이는 동일 아키텍처의 비교가 아니라, 용도와 실행 방식의 차이를 고려하기 위한 관련 기사입니다.
Inkling 2 Mini는 **중간층을 3회 순환하는 루프(loop), MoE, 저비트 정밀도, 전문가 가지치기(expert pruning)**를 결합하여, 저장되는 가중치와 추론에 사용되는 계산량을 다른 축으로 조정했습니다. 단순히 "거대 모델을 작게 압축한" 것만이 아니라, 모델 내부에서 계산을 몇 번 수행할지를 고안했다는 점이 흥미롭습니다.
다만, 루프형 트랜스포머 자체는 이번에 처음 발명된 방식은 아닙니다. 개발사 역시 2018년의 Universal Transformers와 같은 선행 연구를 인용하고 있습니다. 신규성은 기존의 아이디어를 실용적인 공개 모델의 설계·학습·평가 과정에 결합했다는 점에 있습니다.
개발 현장에서는 작은 크기(경량성)와 맡겨진 작업을 확실하게 완료하는 것을 분리하여 측정하는 것이 중요합니다. 모델 가중치의 크기, 실행 시 메모리, 처리 속도, 정답률, 승인이 필요한 조작 등을 세트로 비교해야만 용도에 적합한지 판단할 수 있습니다.
- Thinking Machines Lab "Introducing Inkling 2 Mini" (공식, 미국 날짜 2026년 11월 20일)
- Inkling 2 Mini Model Card (공식, 출시일·기술 사양·주의사항)
- Hacker News "Inkling 2 Mini" (관심 지수, 2026년 11월 21일 18:02 JST경 취득)
- Thinking Machines Lab "Introducing Inkling 2 Small" (선행 모델, 2026년 11월 5일 발표)
본문의 수치는 공표처의 조건에 따른 것입니다. 벤치마크 독립 재측정이나 Mac 상에서의 실기 검증은 진행되지 않았습니다.