네, 오픈 소스 (open-source) / 오픈 웨이트 (open-weight) 모델은 건강한 AI 생태계를 위해 중요합니다. 이를 통해 우리는 폐쇄적인 연구소(closed labs) 밖에서도 사안을 검증하고, 주장을 확인하며, 흐름을 따라갈 수 있습니다. 또한, 폐쇄적인 연구소의 모델을 사용함으로써 개인 데이터나 지적 재산(IP)을 공유할 준비가 되지 않았을 경우, 우리 자신의 하드웨어에서 AI를 실행할 수 있는 자유를 제공합니다. (독점 모델이 나쁘다는 뜻은 아닙니다. 실제로 저도 많이 사용하지만, 대안이 전혀 없는 것은 건강하지 않을 것입니다.)

어쨌든, 거의 모든 사람이 Kimi K3와 Ling 3.0 웨이트(weights)가 언제든 모델 허브에 올라오기를 기다리고 있는 가운데, 지난 한 주 동안 꽤 많은 다른 흥미로운 새로운 오픈 웨이트 모델들이 출시되었습니다. 정말 대단한 한 주였습니다!

그럼, 제가 가장 흥미롭다고 느낀 점들에 대한 몇 가지 노트와 함께 아키텍처(architecture) 사진들을 소개합니다:

1. Nanbeige 4.2 3B는 루프형 깊이 공유(looped depth sharing)를 사용합니다. 이는 기본적으로 동일한 22개 레이어(=트랜스포머 블록(transformer block)) 스택을 두 번 실행한다는 것을 의미합니다. 따라서 가중치(weights)를 복제하지 않고도 22개 레이어 아키텍처를 44개 레이어로 확장합니다. (트랜스포머 블록 연산량은 2배이지만 메모리 점유율(memory footprint)은 동일합니다.)

왜 그럴까요? 정보가 다소 부족하지만, Nanbeige 4.2 기술 보고서(technical report)의 섹션 2.1에 따르면 두 번의 패스(passes)가 최적의 절충안(trade-off)을 제공하며 표준 아키텍처 토큰 효율성(token efficiency)의 약 75%를 유지한다고 합니다. 패스 횟수를 더 늘려도 이득은 거의 없었지만, 훈련(training) 속도는 훨씬 느려지고 비용은 훨씬 더 많이 들었습니다.

2. Laguna S 2.1은 poolside의 Laguna 모델로, 정말 멋진 크기를 가지고 있습니다: 8B의 활성 파라미터(active parameters)를 가진 118B 희소 MoE (sparse MoE)이며, 1M 토큰 컨텍스트 윈도우(context window)를 지원합니다. 그 외의 아키텍처는 꽤 표준적입니다. 36개의 슬라이딩 윈도우(sliding-window) 레이어와 12개의 글로벌 (게이트형-)GQA 레이어를 사용합니다. 하지만 이 크기와, 제 DGX Spark에서 (간신히) 실행된다는 점(RAM을 약 80GB 미만 사용)을 고려할 때, 이것은 현재 개인적으로 가장 흥미로운 모델입니다. 3배 더 크기 때문에 약간 더 느리지만, 아마도 일상적인 사용을 위한 Qwen3.6-35B의 대체 후보가 될 수 있을 것 같습니다. (여전히 몇 가지 독립적인 성능 벤치마크(performance benchmarks)를 기다리고 있습니다.)

3. Motif-3-Beta는 mHC 및 잠재 어텐션 (latent attention) 측면에서 DeepSeek V4를 어느 정도 기반으로 하는 새로운 314B-A13B 희소 MoE (sparse MoE)입니다. 하지만 이 모델은 Multi-head Latent Attention에서 영감을 받은 새로운 구성 요소인 그룹화된 차분 잠재 어텐션 (Grouped Differential Latent Attention, GDLA)을 사용합니다. 언젠가 이에 대해 글을 써야 할 것 같지만, 지금은 요약(tl;dr)하자면 다음과 같습니다. 일반적인 MLA는 주로 KV 캐시 (KV cache) 크기를 줄이기 위해 키(keys)와 값(values)을 더 작은 잠재 표현 (latent representation)으로 압축합니다. GDLA는 이와 유사한 저차원 압축 (low-rank compression)을 수행하지만, 어텐션 헤드 (attention heads)를 그룹으로 묶고 각 그룹에 대해 노이즈 헤드 (noise head)를 학습하여 필터링 목적으로 노이즈를 차감합니다... 어쨌든, 이건 나중에 다룰 주제로 남겨두겠습니다!

4. Solar Open 2는 Upstage에서 만든 새로운 250B-A15B 하이브리드 MoE로, 세 개의 Kimi Delta Attention 레이어와 하나의 GQA (Grouped Query Attention) 레이어를 교차하여 배치했습니다.

5. Antares 1B는 Cisco에서 만든 소형 모델이며 (더 작은 0.3B 변형도 존재합니다), IBM Granite 4.0 1B 백본 (backbone)으로 시작하여 터미널 기반의 사이버 보안 작업을 위해 SFT (Supervised Fine-Tuning)와 GRPO (Group Relative Policy Optimization)를 사용합니다. 이는 진정으로 작은 모델에 대한 작업 특화형 사후 학습 (task-specific post-training)의 좋은 사례입니다.

6. BTL-3는 코딩 에이전트 (coding agents) 및 구조화된 도구 사용 (structured tool use)을 목표로 하는 Qwen3.6-27B용 rank-32 LoRA 어댑터 (adapter)입니다. 매우 강력한 벤치마크 성능은 LoRA 어댑터가 2026년에도 여전히 유용한 도구이자 기술임을 시사합니다.

추가적인 세부 사항을 위해 이 여섯 가지 모델을 모두 LLM 아키텍처 갤러리 (LLM Architecture Gallery)에 추가했습니다:

[IMG:1]