AllenAI도 주목할 만함. Microsoft의 Paul Allen이 설립했으며, 학습 데이터까지 포함해 진정으로 투명하고 개방적인 AI를 만드는 최고의 팀 중 하나임

Arcee, Reflection, Llama 등 공개 가중치 모델을 추진하는 회사가 이미 많고, Meta가 공개와 비공개 중 어디에 집중할지는 아직 불확실함
그래도 미세조정 API와 공개 가중치 모델의 조합은 최소한 성립 가능한 사업처럼 보임. 단지 QLoRA나 LoRA를 사용하는 것이라면 공개 모델 보유사가 왜 미세조정을 더 잘할 수 있는지는 아직 의문이지만 지켜볼 만함

가정용 하드웨어에서 초당 10토큰 이상으로 실행할 수 있는 100B 미만 모델도 출시하길 바람

공개 가중치 모델은 어떤 사업 모델로 운영할 수 있는지 궁금함

Tinker에서 미세조정할 수 있는 공개 기반 모델은 훌륭한 사업 모델이라고 봄. 기업은 자기 모델을 소유하면서 특정 업무에서는 최첨단 모델 이상의 성능을 훨씬 낮은 비용으로 얻고, Thinking Machines는 그 생태계의 핵심 인프라·서비스 제공자가 될 수 있음
더 작은 Inkling-Small이 사전학습 데이터와 학습 방식 개선 덕분에 여러 벤치마크에서 큰 모델과 같거나 더 높은 성능을 내는 것도 인상적임. 차세대 Thinky 모델이 기대됨

현대 모델 개발에는 놀랄 만큼 다양한 작업이 필요함. 예전에는 새 손실 함수나 작은 아키텍처 변경을 만들고 학습·평가 루프를 돌린 뒤 결과물을 공개하면 됐지만, 이제는 따라잡는 데만도 엄청난 작업이 드는 붉은 여왕 경쟁이 됨
500개가량의 단계 각각이 작은 최적화 루프라는 점은 경이롭기까지 함. 이 때문에 소규모 팀이 대규모 팀보다 빠르다는 기존 법칙도 뒤집혔고, AI에는 큰 팀이 필요함. 조직 관성이 문제가 되는 건 인원이 수천 명을 넘어서면서부터이며, 그전까지는 수많은 구성 요소를 12명의 뛰어난 인재만으로 감당하기 어려움

강력한 긴 문맥·멀티모달 공개 가중치 모델이 나와 반가움. 오디오 성능의 혜택을 볼 애플리케이션이 많고, z.ai 등이 시각 기능을 개발하기 전까지는 범용 에이전트형 애플리케이션에도 강력할 수 있음
다만 일부 관련 벤치마크에는 약점도 보임. 결국 다른 모델과 마찬가지로 직접 하네스에 넣고 자신이 중시하는 작업을 제대로 평가해야 함

MiniMax M3와 DeepSeek v4-Pro도 긴 문맥을 지원하는 매우 유능한 공개 가중치 멀티모달 모델임. 하지만 긴 문맥은 함정이며, 15만~20만 토큰을 넘으면 성능이 여전히 급격히 하락함

첫 모델이면서 공개됐다는 점을 고려하면 미국의 공개 AI 연구소에 다시 믿음이 생기기 시작함. OpenRouter 등에 아직 올라오지 않아 시험하지 못했지만, GLM5.1 정도만 되어도 첫 시도로는 충분히 훌륭함
조만간 더 많은 연구소가 최첨단에 가까운 수준까지 따라잡을 수 있을 듯하며, 어느 분야든 경쟁이 늘어나는 건 환영함

NVIDIA도 Nemotron을 개발하고 있음

아직 매우 초기 시험이지만 벤치마크가 보여주는 것 이상의 잠재력이 있음. 공개 평가보다 내 비공개 평가에서 훨씬 뛰어난 결과가 나온 건 Anthropic 모델 외에는 거의 보지 못했으며, 판단하기엔 너무 이르지만 앞으로 몇 주간 상당한 시간을 투자하게 될 듯함
공개 가중치 모델 중에는 Moonshot AI 모델만 감수하고 사용할 만하다고 봤고 Z.AI는 내 작업군에서 그만큼 잘하지 못했는데, 이 모델은 두 번째 선택지가 될 잠재력이 있음. Mistral이 이런 모델을 내놓았다면 나를 포함한 유럽 애호가들이 계속 떠들었을 것 같음

웹 검색을 끄고 추론 기록으로도 이를 확인한 상태에서, 아주 전문적인 세부 질문 여러 개에 정확히 답했음. 특정 준클래식 차량의 엔진별 정비나 희귀한 가방 구조·소재처럼, 지금까지 Gemini 3와 3.1 Pro만 맞혔던 질문들임
Fable 5, GPT-5.6 Sol을 비롯한 다른 연구소의 어떤 모델도 웹 없이 정확히 답하지 못했지만, 해당 분야에 정통하다면 상식에 속하고 객관적인 정답도 분명히 존재함. 공개 벤치마크에 없어 과적합하기 어려운 작업에서 Fable 5보다 앞선 것은 상당히 인상적임

특히 지시 이행 능력은 좋아 보이지만 코딩은 다른 모델보다 약한 듯함. 그래도 공개 가중치 모델의 다양성이 늘어나는 건 언제나 반가우며, 직접 시험해 어떤 성격을 보이는지 확인해봐야겠음