Q4 이하 모델에 대한 기존 규칙이 깨지다: Nemotron 3.5 Bolt와 Liquid AI의 등장

지난 2년간 우리는 이곳에서 같은 규칙을 반복해 왔습니다. 양자화(Quantization)가 Q4_K_M보다 낮아지면, 모델 스스로 자신의 이름을 환각(hallucinate)하는 것을 즐기지 않는 한 절대 사용해서는 안 된다는 것이었습니다. 오늘 Nemotron 3.5 Bolt 74B-A9B 출시와 어제 Liquid AI의 LFM2.5-24B-A2B를 거치면서, 우리는 이 규칙을 공식적으로 폐기해야 할 것 같습니다—적어도 양자화 인식 학습(Quantization-Aware Training, QAT)과 하이브리드 아키텍처가 관련될 때는 큰 별표를 붙여야 합니다. Meta가 이번 주에 Muse Wonder를 $4/$20 API 뒤에 가두는 동안 (RIP Llama 오픈 웨이트 리더십, 같은 가격에서 Opus 5.5에게 9/14 벤치마크를 내주는 것을 환영합니다), 실제 로컬 24GB VRAM 영역은 이상하게 경쟁적이 되었습니다. 만약 당신이 여전히 단일 24GB 카드(3090/4090)나 32GB 통합 메모리를 고수하며, 128GB RTX Spark 노트북이나 Gorgon Halo 박스에 대한 $3,500 이상의 세금을 지불하기를 거부한다면, 현재 로컬 에이전트 메타가 실제로 어떻게 전개되는지 알려드리겠습니다: 1. 2-Bit QAT의 존재감: Nemotron 3.5 Bolt (74B-A9B • 24GB) 공식 HuggingFace 모델 카드에서 IQ2를 보는 것은 처음에는 장난처럼 느껴졌습니다. 일반적으로 74B 모델은 BF16으로 약 ~148GB를 소비합니다. 이를 사후 학습 양자화(post-training quantization)를 통해 24GB GGUF에 압축하면 보통 모델이 토스터가 되어버립니다. 하지만 Nvidia가 Mamba-2–Transformer 하이브리드 LatentMoE (9B active)에 네이티브 2-bit QAT를 사용했기 때문에, 성능 저하가 놀라울 정도로 작습니다: PinchBench (OpenClaw): BF16에서 90.4%에서 IQ2 24GB로 떨어집니다. 이는 2-bit 74B 모델을 Qwen 3.6 35B-A3B (88.1%)의 바로 뒤에, 그리고 다단계 도구 호출(multi-step tool calling)에서는 Qwen 3.8 27B Dense (86.5%)보다 약간 앞세웁니다. 실제 난관 (24GB 대 32GB): Nvidia 마케팅에 대해 솔직해지자면—가중치(weights)는 24GB입니다. 이는 시스템 RAM 오프로드를 하지 않는 엄격한 24GB 카드에서 mmproj 비전 인코더, LiLiCorr/DFlash 추측 디프레이터(speculative drafter), 그리고 컨텍스트를 담으려면 몇 개의 레이어를 오프로드해야 함을 의미합니다. 여기서 빛을 발하는 점은 Mamba-2 순환 상태(recurrent states)가 순수 밀집형 27B보다 장기 컨텍스트 메모리를 훨씬 평탄하게 유지한다는 것입니다. 이는 KV 캐시가 64k–128k를 넘어서면 느려지기 때문입니다.

2. 초극희소(Ultra-Sparse) 방식: Liquid LFM2.5-24B-A2B 만약 74B를 2비트(2-bit)로 압축하는 것이 너무 비현실적이라고 느껴진다면, Liquid는 어제 정반대의 경로를 택했습니다. 총 파라미터 수는 24B이지만 토큰당 활성화되는 파라미터는 2.45B에 불과합니다 (131k 컨텍스트, 33T 토큰 사전 학습). 토큰당 2.45B의 파라미터만 작동하기 때문에, 적당한 메모리 대역폭에서도 프롬프트 처리와 토큰 생성이 매우 빠릅니다. 이들은 OpenClaw, Hermes Agent, 그리고 OpenCode 내부에서 직접 강화학습(RL)을 수행했습니다. 단점은 이것이 무거운 '사고가 많은' 모델이라는 점입니다. 모든 도구 호출 전에 명시적인 추론 체인(reasoning chains)을 출력하기 때문에, 생각하지 않는 모델에 비해 작업당 훨씬 더 많은 출력 토큰을 소모합니다. 따라서 벽시계 시간 기반 완료 시간을 맞추기 위해서도 2.4B의 활성 속도가 필요합니다. 3. 이것이 Qwen 3.8(그리고 Qwen 4를 기다리는 상황)에게 미치는 영향 현재, Qwen 3.8 Flash-Next (strata + 대규모 n-gram 테이블 포함)와 Qwen 3.6 35B-A3B는 여전히 32GB~64GB의 RAM을 보유한 사용자들에게 안심할 수 있는 선택지이며, 컨텍스트 창이 넘치지 않는 한 순수한 제로샷 코딩에는 Qwen 3.8 27B Dense가 더 강력합니다. Qwen 4가 이미 Apsara에서 발표되었고 (확정된 Qwen 4 27B 오픈 웨이트 티어 포함), 이달 말 이전에 출시될 예정이며—게다가 현재 Nous Portal의 MissingNo 뒤에 있는 모든 스텔스 연구실이 제공할 것이라 예상되는 것들을 고려하면—32GB 미만의 브래킷은 'Q4에서 얼마나 많은 밀집 파라미터를 넣을 수 있을까'라는 논의에서 '2비트/3비트 QAT와 함께 얼마나 큰 희소/하이브리드 두뇌를 채울 수 있을까'로 이동하고 있습니다. 요약 / 24GB 사용자들에게 질문: 여러분은 DFlash 드래프터(drafter)를 켜지 않고도 기본 llama.cpp에서 네이티브 2비트 QAT (Bolt 74B IQ2)로 실제로 사용 가능한 실세계 코딩/에이전트 성능을 얻고 있습니까, 아니면 Qwen 4 27B가 출시될 때까지 Q4 MoE(Qwen 35B-A3B / Liquid 24B-A2B)를 고수하고 있습니까?

제출자: /u/BTA_Labs [link] [comments]