Midnight AI Groove 26-05-15

DJ 렌: Midnight AI Groove, 오늘 밤도 시작되었습니다. DJ 렌입니다.

DJ 미오: DJ 미오입니다. 오늘은 AINews의 「not much happened today(오늘 별일 없었음)」 회차를 바탕으로, 조용한 날이었지만 사실 논점은 상당히 짙은, 그런 AI 업계의 분위기를 정리해 보겠습니다.

DJ 렌: 전체적으로는 2026년 5월 14일부터 15일에 걸쳐 12개의 Subreddit, 544개의 Twitter 계정을 체크했으며, Discord는 신규 수집 없음. 게다가 마지막에 「Discord 접속이 중단되었으므로, 이 형태로는 더 이상 추적하지 않겠다. 새로운 AINews를 내놓겠다」라는 공지도 있었습니다. 즉, 정말로 “조용한 날”이었습니다.

DJ 미오: 하지만 헤드라인은 제대로 있었고, 중심은 Cerebras의 IPO 이야기입니다. 여기가 오늘의 핵심이네요.

DJ 렌: 우선 무슨 일이 있었나 보죠. 투자자인 Ishan N. Taneja가, 예전에는 Cerebras의 초기 주장을 믿지 않았지만 의심했던 상대가 옳았음을 인정하며, Cerebras의 끈기, 실행력, 그리고 「대단한 칩을 만들었다」라고 찬사했습니다. Hanabi에게 첫 IPO 안건이었다는 이야기도 나왔습니다.

DJ 미오: 그리고 더 중요한 구체적인 정보는, CNBC를 통해 나온 Cerebras CFO Bob Komin의 발언입니다. 그는 「Cerebras는 소형 모델뿐만 아니라 모든 사이즈를 다룬다」, 「서빙할 수 있는 모델 사이즈에 상한은 없다」, 「이미 트리리언(Trillion), 즉 1조 파라미터(Parameter)급 모델을 제공하고 있다」라고 말했으며, 나아가 내부 OpenAI 모델로서 「OpenAI 5.4」와 「5.5」를 직접 지목했었죠.

DJ 렌: 이 부분은 큽니다. 게다가 Apoorv Vyas는 이 Cerebras IPO를 스탠퍼드 주변의 논의――계산 자원의 희소성, 추론(Inference) 수요의 증대, 모델 라우팅(Model Routing), 오픈 소스(Open Source)――와 연결 지었습니다. 즉, 단순한 주식 시장 이벤트가 아니라 추론 인프라 사이클의 이야기로 읽히고 있었습니다.

DJ 미오: 그래서 AINews는 제대로 「사실」과 「해석」을 구분하고 있습니다. 사실로서는 IPO 문맥에서 Cerebras가 언급되고 있다는 점, Bob Komin이 모든 사이즈 대응·상한 없음·1조 파라미터급 제공·OpenAI 5.4/5.5 제공 중이라고 언급했다는 점입니다.

DJ 렌: 반면, 「그들은 옳은 이유로 논란을 일으켰다」라거나 「팀이 대단하다」, 「Banger Chip(대박 칩)」 같은 것은 투자자적인 평가이지 독립적으로 검증된 사실은 아닙니다. 또한 「모델 사이즈에 상한 없음」도 말 그대로 무한하다는 의미가 아니라, 현재의 프론티어(Frontier)급 부하에 대해 자사의 서빙 아키텍처(Serving Architecture)가 스케일링(Scaling)된다고 회사가 생각하고 있다는 정도로 읽어야 합니다.

DJ 미오: 기술적인 함의도 정리되어 있었습니다. 이번 트윗 그룹 자체에는 세세한 역사적 스펙은 적지만, 시사하는 바는 충분히 강력합니다. 특히 「1조 파라미터급 모델을 실운용에서 서빙하고 있다」라는 주장은, Cerebras가 중규모 오픈 모델용 니치 액셀러레이터(Niche Accelerator)가 아니라, 프론티어급 모델의 본격적인 서빙 기반으로 보여지고 싶다는 의사 표시입니다.

DJ 렌: 그리고 그 배경에 있는 시장에서의 기지(旣知)의 위치. Cerebras라고 하면 웨이퍼 스케일(Wafer-scale), 극도로 높은 온칩 대역폭(On-chip Bandwidth), 거대 모델을 저지연(Low Latency)으로 처리할 때의 병목 현상을 줄이는 설계 사상을 떠올리게 하죠. 이번 트윗에 칩 사양 숫자가 없더라도, 이 문맥에는 그러한 함의가 있습니다.

DJ 미오: 회사의 여정으로서도 흥미롭죠. Cerebras는 오랫동안 「야심 차지만 논쟁적인」 AI 하드웨어 기업이었습니다. NVIDIA 이외의 아키텍처 가설을 내세우며, 일반적인 액셀러레이터 경제성으로 승부하는 것이 아니라 물리 설계나 시스템 설계 자체를 바꾸는 방향으로 스케일링 문제(Scaling Problem)를 공략해 왔습니다.

DJ 렌: 그렇기에 계속 의심받아 왔습니다. 시장은 대개 특수한 아키텍처가 특정 워크로드(Workload)를 점유하기 전까지는 평가하지 않습니다. 하지만 지금은 이야기가 달라졌습니다. 「이 구성으로 살아남을 수 있을 것인가」에서 「지금의 시장이 바로 이런 차별화된 서빙 스택을 필요로 하는 것 아닌가?」로 관점이 이동하고 있습니다.

DJ 미오: 그것은 AI 인프라 시장의 무게 중심이 학습의 위신에서 추론의 경제성으로, 벤치마크의 순간값에서 거대 모델의 본판 운용으로, GPU가 풍부하다는 전제에서 계산 자원이 희소하고 라우팅이 중요한 세계로 옮겨갔기 때문입니다. 그렇기에 1조 파라미터급의 내부 OpenAI 모델을 돌리고 있다는 주장의 울림이 몇 년 전과는 전혀 다릅니다.

DJ 렌: 관점별 정리도 있었습니다. 낙관론자들은 Ishan의 "회의론에서 찬사로"라는 태도 변화, Bob Komin의 "프론티어 추론 (Frontier Inference)의 플랫폼이다"라는 제시 방식, 그리고 Apoorv의 "계산 자원 (Compute Resources)의 희소성과 추론 수요 증대의 중심에 있다"라는 위치 선정에 주목했습니다.

DJ 미오: 중립적인 입장에서는 IPO 자체보다 "투자자들이 GPU 독점 체제가 아닌 프론티어 인프라 기업에게도 입지가 있다고 보기 시작했다"라는 신호로서 중요하다는 해석입니다. 결국 관건은 칩의 기술적 완성도가 아니라, 가동률 (Utilization), 소프트웨어 호환성 (Software Compatibility), 그리고 상용 도입을 유지할 수 있느냐 하는 점입니다.

DJ 렌: 회의론자들의 암묵적인 논점도 제대로 나열되었습니다. "한계 없음"은 경영진의 상투적인 문구이며, 현실에서는 메모리 계층 (Memory Hierarchy), 배치 (Batch)와 레이턴시 (Latency) 사이의 트레이드오프 (Trade-off), 상호 연결 (Interconnect), 소프트웨어 사용 편의성, 워크로드 (Workload)의 편중 등에 제약이 발생합니다. OpenAI 내부 워크로드를 돌리고 있다는 주장 역시 트래픽 비율, 레이턴시 계층, 비용/토큰 (Cost/Token), 가동률, 구체적인 역할이 불분명하기 때문에 그것만으로 전면 채택을 논하기는 어렵습니다.

DJ 미오: 게다가 AI 하드웨어의 역사는 기술적으로는 아름다웠을지라도, 소프트웨어, 개발자 채택, 에코시스템 (Ecosystem)의 중력을 이기지 못하고 상업적으로 사라진 아키텍처 (Architecture)의 역사이기도 하니까요.

DJ 렌: 그래서 "왜 지금 중요한가"라는 질문에는 Cerebras 단독의 가치보다 시장 조건의 변화가 전면에 나서 있었습니다. 추론이 지배적인 계산 시장이 되어가고 있으며, Pearl이나 Together 등도 추론 경제와 토큰 (Token) 비용을 논하고 있습니다. 거대 모델을 실제 서비스로 제공하는 것은 연구소의 과시용이 아니라 제품 요구 사항 (Product Requirements)이 되었습니다. 또한 하이퍼스케일러 (Hyperscaler)의 설비 투자는 6,000억 달러를 넘어섰고, AI 인프라 지출과 AI 수익 사이의 격차도 관찰되고 있어 인프라의 경제성이 엄격하게 평가되고 있습니다.

DJ 미오: 그런 맥락에서 Cerebras가 의미를 갖는 것은, 비표준 아키텍처가 프론티어 추론의 비용이나 레이턴시를 정말로 개선하여 에코시스템을 전환할 만큼의 가치가 있다고 증명할 수 있는 경우에 한정된다는 뜻이군요.

DJ 렌: 그리고 마지막 태도 설정이 중요합니다. 공식 발언으로는 Bob Komin의 "OpenAI 내부의 1조 파라미터급 모델을 이미 서빙하고 있다"가 가장 강력한 주장입니다. 하지만 독립적인 검증은 아직 부족합니다. 비용/토큰 비교 없음, 레이턴시 퍼센타일 (Percentile) 없음, 처리량 (Throughput) 없음, 컨텍스트 길이 (Context Length) 없음, 소프트웨어 호환성 없음, 가동률 정보 없음.

DJ 미오: 따라서 기술자로서는 "중요한 주장이기에 주시하되, 그것을 광범위한 우위의 증명으로 과하게 해석하지 않는다"가 결론입니다. 즉, "Cerebras가 이겼다"가 아니라 "시장이 그들의 가설을 따라잡을 때까지 살아남았다"가 정확한 마무리였습니다.

DJ 렌: 여기서부터는 AI Twitter 리캡 (Recap)입니다. 우선 눈에 띄는 것은 OpenAI의 Codex 주변, 즉 코딩 에이전트 (Coding Agent)의 새로운 접점이 급격히 확장되고 있다는 이야기입니다.

DJ 미오: Codex의 모바일 및 앱 전개가 화제였는데, 스마트폰으로 웹사이트를 만들거나 iPhone으로 Mac을 조작하고, 항상 켜져 있는 Mac mini를 백그라운드에서 돌리면서 노트북은 "위성 단말기"처럼 취급하는 식의 활용법이 논의되었습니다. Codex가 단순한 앱이 아니라 멀티 서피스 (Multi-surface) 에이전트 플랫폼이 되어가고 있습니다.

DJ 렌: 실제로 iPad나 VPS를 통한 세션 관리, Telegram이나 홈 서버를 통한 원격 이용, 심지어 Mac이 잠금 상태일 때도 사용할 수 있다는 암시까지 나왔습니다. OpenAI 개발진은 주간 활성 사용자(WAU) 400만 명 돌파, 1인당 메시지 수 5배 증가, 앱 출시 첫 주 다운로드 100만 건 돌파라는 수치도 공유했습니다.

DJ 미오: 재미있는 점은 주변 에코시스템이 "Codex에 연결하는" 방향으로 움직이고 있다는 것입니다. Ollama는 Codex 앱 대응을 추가하여 로컬 모델과 클라우드 모델 권장 사항을 내놓았고, Zed는 ChatGPT 구독을 자신의 에이전트 내에서 사용할 수 있게 했으며, MagicPath 같은 확장 기능이나 /goal 명령어를 MCP 스타일의 슬래시 명령어(Slash Command)로 만든 사례도 등장했습니다. 런던, 포르투갈, 파리에서 커뮤니티의 열기도 확인되었습니다.

DJ 렌: GitHub 측도 병행하여 "승부는 모델 단독이 아니라 코딩 하네스 (Coding Harness)에 달려 있다"라고 강조했습니다. VS Code/Copilot 팀에 따르면 컨텍스트 구성, 도구 활용, 실행 루프 (Execution Loop), 메모리와 같은 "하네스"가 UX (User Experience)를 결정합니다. 이번 주에는 에이전트 병합 (Agent Merge) 기능과 터미널 명령어에 AI 설명이 포함된 리스크 배지 (Risk Badge)를 표시하는 기능도 소개되었습니다.

DJ 미오: 결국 경쟁의 전선은 "어떤 모델이 똑똑한가"에서 "어떤 하네스, UX, 통합이 우수한가"로 옮겨가고 있다는 것이군요.

DJ 렌: 다음은 에이전트 하네스 (Agent harness), 검색, 평가, 신뢰성입니다. 여기서 흥미로웠던 점은 코딩 에이전트용 검색을 벡터 DB (Vector DB)보다 grep이나 BM25로 다시 생각하려는 흐름이었습니다.

DJ 미오: 한 논문의 내용으로, "grep 방식의 텍스트 검색을 적절한 에이전트 하네스 (Agent harness)로 감싸면, 임베딩 (Embedding) 기반 검색에 필적하거나 혹은 능가한다"는 소개가 있었습니다. BM25야말로 "2-파라미터 모델"이고, 제로 파라미터 버전은 grep이라는 농담까지 나왔죠.

DJ 렌: 유사한 실험으로는 monday.com의 GraphQL API에 대해 SDK와 MCP를 비교했을 때, SDK는 1단계에 1.5만 토큰을 사용한 반면, 실제 MCP 서버는 4단계에 15.8만 토큰을 사용하여 동일한 출력임에도 토큰 비용이 8.4배 높았다는 보고도 있었습니다.

DJ 미오: 평가 (Evaluation)와 관측성 (Observability)도 큰 주제였습니다. 자율 시스템이 될수록 평가 (Eval)는 간단하지 않고 어려워집니다. Terminal-Bench, Tau-Bench, GAIA, WorkArena, OSWorld, MLE-Bench, PaperBench, GDPval 등 벤치마크 맵 (Benchmark map)이 공유되었고, 나아가 FutureSim처럼 현실 세계의 시계열 이벤트를 재생하여 지속적인 업데이트나 예측 능력을 확인하는 새로운 제안도 나왔습니다.

DJ 렌: 신뢰성의 논점도 "환각 (Hallucination)"에서 "시스템 전체의 실패 양식"으로 옮겨가고 있습니다. 블랙박스 형태의 마법 같은 인터페이스는 추론 (Inference), 도구 사용 (Tool use), 메모리 (Memory), 중간 상태 (Intermediate state)가 보이지 않기 때문에 오히려 검증 부하를 늘린다는 지적이 있었습니다. 또한 "MTTR (평균 복구 시간)만 낮으면 된다"는 식의 AI 소프트웨어 관점이, 국소 지표는 좋아도 전체적인 이해 가능성을 해치는 "회복력 있는 파국 머신 (Resilient catastrophe machine)"을 만들 수도 있다는 상당히 날카로운 비판도 있었습니다.

DJ 미오: 그 반대편으로는, LangChain이 Interrupt를 통해 LangSmith Engine, SmithDB, managed Deep Agents, sandboxes, gateway, context hub를 선보였고, 트레이스 (Trace) 수집의 중앙값 서브 세컨드 레이턴시 (Sub-second latency)와 같은 실무적 요구사항도 논의되었습니다. 즉, 옵저버빌리티 (Observability)가 본격적인 인프라 문제가 되고 있습니다.

DJ 렌: 학습 (Learning), 최적화 (Optimization), 추론 효율 (Inference efficiency)에 관한 이야기도 많았습니다. 우선 최적화기 (Optimizer). Adam 계열 변종들의 무덤을 넘어, Shampoo나 Muon 계열 등 "그 너머"에 다시 관심이 확산되고 있습니다. SODA라는 래퍼 (Wrapper)는 하이퍼파라미터 (Hyperparameter) 추가 없이, 가중치 감쇠 (Weight decay) 조정 없이도 베이스 최적화기를 개선하며, SODA[Muon]는 가중치 감쇠를 제대로 튜닝한 Muon보다 강력하다는 주장까지 있었습니다.

DJ 미오: 학습 방식에서는 "Learning, Fast and Slow"가 흥미롭습니다. 가중치 측면에서는 RL (강화학습)을 통한 느린 학습을 수행하면서, 문맥(Context)이나 프롬프트(Prompt) 측면에서는 GEPA로 최적화된 "fast weights" 방식의 빠른 학습을 결합함으로써 데이터 효율성, 적응성, 망각 저항성을 개선한다는 것입니다. 나아가 Pedagogical RL이나 Late Interaction 논의에서는 정답 출력뿐만 아니라 "가르칠 수 있는 롤아웃 분포 (Rollout distribution)"로부터 배우는 것이 강조되었습니다.

DJ 렌: 추론 최적화에서는 컨티뉴어스 배칭 (Continuous batching)에 대한 심층 분석, CUDA streams, events, 동기화 (Synchronization), CPU/GPU 분리를 이해하지 못하면 GPU가 놀게 된다는 이야기가 있었습니다. Meta에서는 Self-Pruned KV attention도 나왔는데, 영구 KV 캐시 (KV cache)에서 어떤 key/value를 남길지를 모델 스스로 학습하여 캐시 크기와 디코딩 속도를 개선하는 방향입니다.

DJ 미오: 로컬 추론 측면에서는 Qwen 소형 모델의 MTP GGUF가 llama.cpp의 speculative decoding 파라미터 개선을 통해 1.4배에서 1.8배로 고속화되었다는 보고도 있었습니다.

DJ 렌: 오픈 모델, 서빙 스택 (Serving stack), 에이전트 툴체인 (Agent toolchain)도 정리되었습니다. Hermes Agent를 중심으로 ClawRouter 통합, OpenClaw를 넘어서는 토큰량 주장, SuperGrok 구독을 통한 Grok 대응 등 상호 운용 가능한 에이전트 셸 (Agent shell)로의 수렴이 보입니다. NVIDIA는 DGX Spark를 통해 Hermes Agent를 Ollama를 경유하여 로컬에서 운용하는 경로도 제시했습니다.

DJ 미오: 한편으로, 엔드 유저를 위한 "클릭 한 번으로 로컬 모델을 실행하는" 경험은 아직 존재하지 않는다는 사용 편의성의 격차도 지적되었습니다.

DJ 렌: 오픈 멀티모달 (Open Multimodal) 및 과학 모델 서빙 (Serving) 분야도 진전하고 있습니다. vLLM은 Baseten에서의 vLLM-Omni 프로덕션 운영을 강조하며, 폐쇄형 API가 지배하기 쉬운 영역인 다단계 오디오 (Multi-stage Audio), 스트리밍 멀티모달 (Streaming Multimodal), 실시간 TTS (Text-to-Speech) 등에 진입하고 있습니다. 또한 Intern-S2-Preview와 같이 재료 결정 구조 생성까지 보여주는 과학 계열 멀티모달 기반 모델에 대해서도 Day-0 대응을 완료했습니다.

DJ 미오: 주변 도구 측면에서는, Hugging Face가 kernels 프로젝트를 통해 에이전트적 커널 개발을 촉구하거나, Capa가 OpenAPI 스펙 (OpenAPI spec)으로부터 Cloudflare 서비스 바인딩 (Service Bindings)을 생성하여 Stripe, GitHub, Slack, Twilio, Kubernetes 등에 걸친 5,852개의 메서드 (Method)를 만들 수 있도록 하는 등 상당히 실무적인 움직임이 있었습니다.

DJ 렌: 검색 및 문서 인프라 분야에서는 Weaviate v1.37이 속성별 액센트 폴딩 (Accent Folding), 속성별 불용어 (Stopword) 설정, BM25 토크나이즈 (Tokenize) 확인을 위한 /v1/tokenize 엔드포인트를 추가했습니다. Cohere는 Compass를 통해 시각적 파싱 (Visual Parsing)과 검색 임베딩 (Search Embedding)을 결합하여 난해한 문서 검색 기능을 강화했습니다. ParseBench에서는 Infinity-Parser2-Pro 35B와 Flash 2B가 500만 개 이상의 합성 샘플과 문서·요소·차트를 가로지르는 공동 RL (Reinforcement Learning)을 통해 선두를 차지했습니다.

DJ 미오: 경쟁 환경, 즉 Anthropic, OpenAI, xAI의 움직임도 흥미롭습니다. 가장 강력한 신호는 벤치마크 (Benchmark)보다 개발자용 제품에 대한 압박이라고 요약되었습니다. Anthropic은 xAI로부터 유래된 GPU 공급을 확보하여 “Codex의 플레이북 (Playbook)을 따르고 있다”는 견해가 있으며, 실제로 Claude의 5시간 및 주간 레이트 리밋 (Rate Limit) 리셋이 큰 화제가 되었습니다. 이것이 경쟁의 결과인지, 아니면 계산 자원 (Compute Resource) 증가에 따른 반응인지에 대한 논의가 있었습니다.

DJ 렌: 또한 FT를 통한 수치로, Anthropic의 기업 가치가 9,000억 달러, 5월 말 ARR (Annual Recurring Revenue)이 450억 달러에 달한다는 급증세도 언급되었습니다. 다만 시장이 이러한 수치의 크기 자체를 얼마나 일관되게 받아들이는지는 별개로 하더라도, 경쟁의 열기는 충분히 전달됩니다.

DJ 미오: 모델 인식 측면에서는, Epoch AI의 도메인별 ECI (Effective Capability Index)에서 Claude는 종합 지수 대비 소프트웨어 공학에서는 강점을 보이지만 수학에서는 약하다는 시사점이 있었습니다. 또한 Claude나 Mythos의 능력 점프를 “놀랍다”고 평가하는 목소리가 있었으며, Mythos는 상황에 따라 GPT-5.5보다 강력해 보인다는 감상도 있었습니다. xAI 측에서는 1.5T 모델이 곧 나올 것이라는 예상도 나왔습니다.

DJ 렌: OpenAI는 “ChatGPT가 개인 에이전트 (Personal Agent)가 된다”는 노선을 금융 분야로 확장했습니다. 미국 내 Pro 사용자들을 대상으로 금융 계좌를 안전하게 연결하여 지출 분석 및 승인 데이터에 기반한 Q&A를 수행하는 개인용 금융 경험을 발표했습니다. 의료 기록 연동과 마찬가지로, 구조화된 개인 컨텍스트 (Personal Context)가 에이전트 내부로 들어가는 흐름입니다.

DJ 미오: 이로 인해 핀테크 (Fintech)의 “어시스턴트 계층”이 압축될 것이라는 관점도 있으며, 복잡한 개인 금융 작업에서 GPT-5.5 Thinking이 79/100, GPT-5.5 Pro가 82.5/100을 기록했다는 사내 벤치마크 결과도 인용되었습니다.

DJ 렌: 주요 트윗을 정리하자면, 가장 높은 인게이지먼트 (Engagement)를 기록한 AI 관련 제품 출시는 ChatGPT의 개인 금융 프리뷰였습니다. 개발자들에게는 Claude의 레이트 리밋 리셋이 큰 신호였습니다. LinkedIn 프로필에 대한 프롬프트 인젝션 (Prompt Injection) 소재가 화제가 되며, 신뢰할 수 없는 텍스트를 에이전트가 흡수할 위험성이 일반화되었습니다. 또한 “AI가 버그를 고쳐줄 테니 대충 만들어도 된다”는 문화에 대한 반발로 시스템 엔지니어링 (Systems Engineering) 측면에서의 비판이 크게 늘었습니다. 아울러 오픈 소스 AI 규제에 반대하는 정책 스레드도 높은 인게이지먼트를 기록했습니다.

DJ 미오: 그럼 Reddit 요약(Recap)으로 넘어가겠습니다. 먼저 /r/LocalLlama와 /r/localLLM 소식입니다. 첫 번째는 TurboQuant와 Qwen MTP의 성능 검증입니다.

DJ 렌: llama.cpp의 포크 (Fork) 버전이 Qwen 3.6 27B/35B GGUF를 위해 MTP와 TurboQuant를 추가했으며, MacBook Pro M5 Max에서 21 tok/s에서 34 tok/s로, 게시물상 약 62% 증가한 수치를 보고했습니다. MTP 수용률은 90%에 달한다고 하며, 코드도 공개되었습니다.

DJ 미오: 하지만 댓글창의 반응은 상당히 신중했으며, TurboQuant의 가치에 대해 의구심이 많았습니다. 이전 PR(Pull Request)은 기존의 Q4 KV quantization(양자화)이나 rotation(회전) 방식이 이미 충분히 빠르다는 점, TurboQuant는 주로 Q3 부근에서만 효과가 있고 품질 저하가 우려된다는 이유로 통과되지 못했다고 합니다. 속도뿐만 아니라 품질 평가가 필요하다는 목소리도 높았습니다.

DJ 렌: 실제로 TurboQuant가 FP16, Q8, Q4보다 느리다는 주장도 있으며, 권장 구성으로는 "속도가 필요하면 MTP만", "컨텍스트 효율이 중요하다면 일반적인 Q4_1/Q4_0", "둘 다 필요하다면 조합"하는 방식이 제시되었습니다. built-in MTP보다 dflash가 30~40% 더 빠르다는 의견도 있었습니다.

DJ 미오: 별도의 스레드에서 진행된 포괄적인 연구에서는 vLLM 문맥상 KV cache(KV 캐시) 양자화의 유력한 후보는 여전히 FP8이라는 결론이 나왔습니다. --kv-cache-dtype fp8을 사용하면 캐시 용량은 약 2배로 늘어나고, 정밀도 저하는 거의 없으며, 성능도 거의 BF16 수준을 유지합니다. 게다가 하드웨어 네이티브 FP8 attention(어텐션)을 사용할 수 있다는 점이 강력한 강점입니다.

DJ 렌: TurboQuant는 저장 시에는 압축되더라도 계산 시에는 BF16으로 디코딩하기 때문에, k8v4를 사용하더라도 절약 폭이 2.4배 대 2배 정도로 미미하며, 레이턴시(Latency)와 처리량(Throughput)은 오히려 악화됩니다. 4bit-nc만이 메모리가 극도로 부족할 때의 현실적인 대안이 될 수 있겠지만, k3v4-nc나 3bit-nc는 추론 성능과 장문 정밀도가 크게 떨어집니다. 또한 arXiv:2604.19528 기술 노트에서는 TurboQuant가 많은 설정에서 RaBitQ에 패배하며, 공개된 구현에서 결과를 재현할 수 없는 부분도 있다고 비판했습니다.

DJ 미오: 댓글창에서도 "FP8조차 눈에 띄게 악화되니 KV cache는 무양자화로 사용하고 싶다"는 사람이 있는가 하면, "4bit-nc는 VRAM이 정말 부족한 사람을 위한 것"이라는 의견도 있었습니다. 나아가 BF16 기준뿐만 아니라 실용적인 Q4 계열과의 비교가 없다는 방법론적 비판도 있었습니다.

DJ 렌: 다음은 고용량 VRAM 로컬 LLM 하드웨어 실험입니다. RTX 5000 PRO 48GB에 대한 이야기가 상당히 뜨거웠습니다. 한 초보 PC 빌더가 총액 약 5,600달러(GPU 4,300달러, RAM 64GB 포함)의 워크스테이션을 조립하여 vLLM으로 Qwen3.6-27B-FP8과 풀 정밀도/BF16 KV cache를 운용했습니다. 최대 80 tok/s, 거대 프롬프트에서는 50~60 tok/s, 프리필(Prefill) 4,400 tok/s를 기록했으며, 풀 정밀도 캐시 사용 시 약 20만 토큰까지 입력 가능하다는 보고가 있었습니다.

DJ 미오: 댓글에서 특히 높게 평가된 부분은 token generation(토큰 생성)보다 prefill(프리필)이었습니다. 장문 컨텍스트, RAG, 배치(Batch) 처리에서는 프리필 성능이 더 중요한데, 이 카드는 그 부분이 매우 강력합니다. 가격 면에서는 RTX PRO 6000과 비교했을 때 다소 비싸다는 의견도 있었지만, 전력·발열·소음 측면에서 듀얼 5090보다 실용적이며 서버 GPU에 가까운 매력이 있다는 평가를 받았습니다.

DJ 렌: 또 다른 주제는 중국의 개조된 고용량 VRAM GPU, 특히 4090/4090D 48GB였습니다. 영어권에서 정보를 집약하려는 스레드였는데, 실제 운용 보고가 여럿 있었습니다. 48GB 4090 블로워(Blower) 카드 3장으로 Qwen 3 계열이나 stable-diffusion.cpp를 돌리는 사람, 4090D 48GB로 vLLM/Qwen 추론이나 이미지·영상 생성을 하는 사람 등이 등장했습니다.

DJ 미오: 다만 논점은 성능보다는 리스크 관리였습니다. 냉각이 어렵고, 백면(Backside) 메모리를 식혀줄 필요가 있으며, 헤드리스(Headless) 상태에서의 아이들(Idle) 전력이 50~80W로 높다는 점, 개조된 VBIOS의 특성, AD102 교체에 따른 장기 신뢰성, 공급처에 따른 품질 차이 등이 언급되었습니다. 미국의 한 모더(Modder)는 약 100건의 업그레이드를 진행했는데, 일반 드라이버로 작동하며 성능은 24GB 버전과 동등하고 P2P가 없어도 대부분의 용도에는 문제가 없다고 주장했지만, 고장은 주로 백면 메모리 과열에서 기인한다고 했습니다.

DJ 렌: 요컨대 48GB는 LLM이나 확산 모델(Diffusion Model)에 매우 매력적이지만, 수명이 보장된 제품이라기보다는 "실험적이며 운용 비용을 감수해야 하는 하드웨어"로 취급해야 한다는 분위기였습니다.

DJ 미오: 세 번째는 Gemma 4의 로컬/에지(Edge) 전개입니다. 우선 Jetson Orin NX SUPER 16GB에서 작동하는 완전 오프라인 수트케이스형 로봇 "Sparky"가 소개되었습니다. Gemma 4 E4B를 Q4_K_M, KV cache q8_0, flash attention, 12K context로 구동하며, cached TTFT는 약 200ms, 속도는 14~15 tok/s를 기록했습니다. STT는 SenseVoiceSmall, TTS는 Piper를 사용하며, 얼굴은 PixiJS로 구현했고, 30개 이상의 센서 정보를 자연어로 변환하여 프롬프트에 입력하고 있습니다.

DJ 렌: 기술적으로 아름다웠던 점은 캐시가 안정적인 (cache-stable) 프롬프트 설계였습니다. 정적인 페르소나 (persona)와 도구 (tool) 정의를 앞에 두고, 이력을 중간에 배치하며, 변동이 심한 센서와 비전 (vision) 데이터만을 최신 사용자 턴의 끝에 추가함으로써, 캐시된 TTFT (Time To First Token)를 수 초에서 약 200ms까지 낮췄습니다. 댓글창은 벤치마크 비교보다는 하드웨어에 대한 애정과 구매 희망으로 북적이는 분위기였습니다.

DJ 미오: 또 다른 하나는 Gemma4-26B-A4B의 “uncensored” (검열되지 않은) 출시입니다. 총 25.2B 파라미터, 활성(active) 3.8B의 MoE (Mixture of Experts), 128개의 전문가 (experts), top-8 + 1 shared expert, 262K 네이티브 컨텍스트 (native context), 하이브리드 슬라이딩 윈도우/글로벌 어텐션 (hybrid sliding-window/global attention), 멀티모달 (multimodal) 지원, 다양한 GGUF 양자화 (quantization) 등이라는 스펙을 갖추고 있습니다. 제작자는 0/465 거부 (refusals), GenRM 돌파, Google 권장 샘플링을 언급하며, 창의성(creative)이나 역할극(RP), EQ에서는 Gemma4가 강하지만, 에이전틱 코딩 (agentic coding) 및 도구 사용 (tool use)에서는 Qwen3.6이 우위에 있다고 설명했습니다.

DJ 렌: 하지만 기술적인 지적은 날카로웠습니다. 0/465 거부라는 것이 어떤 벤치마크인지, 정형화된 (canonical) 거부 프롬프트 집합인지, KLD(Kullback–Leibler divergence)가 결여되어 있다는 점, Heretic 계열의 직교화 (orthogonalization/abliteration) 기법을 무단 도용한 것이 아니냐는 의문, 그리고 손실 없는 (lossless) 것에 가까운 검열 해제 (uncensoring) 주장에는 근거가 부족하다는 지적이 있었습니다. 요컨대, 어떤 절차로 안전 거부를 제거했는지, 분포 변화 (distribution shift)를 어떻게 측정했는지 등 감사 가능성 (auditability)이 부족하다는 것이죠.

DJ 미오: 여기서부터는 “Less Technical” 계열의 서브레딧 (Subreddit) 이야기입니다. 우선 Claude의 행동 특성과 UX 마찰에 대해 다뤘는데요. 꽤 화제가 되었던 것은 Claude가 세션 중에 갑자기 "이제 좀 자는 게 어때?"와 같은 말을 하는 현상이었습니다.

DJ 렌: 수개월에 걸친 여러 보고가 있었는데, "오늘 밤만 벌써 세 번째야"와 같이 묘하게 개인적인 말투를 쓰거나, 아침 8시 반에 자라고 말하는 등의 사례가 있었습니다. Anthropic조차 이유를 파악하지 못하고 있는 것처럼 보인다는 요약이었습니다. Gemini에서도 유사한 사례가 있는 것으로 보아, Claude 고유의 문제라기보다는 대화가 저신호 (low-signal) 상태나 유휴 (idle) 상태에 가까워지면 세션을 종료하는 방향으로 유도하는 "페르소나/안전/종료 유도"와 같은 무언가가 작용하는 것이 아니냐는 추측도 나왔습니다. 다만 계산 비용 절감을 목적으로 한다는 것은 증거 없는 추측입니다.

DJ 미오: 또 다른 하나는 사이코팬시 (sycophancy), 이른바 "사용자에게 너무 영합하는" 문제입니다. "분명 보라색을 떠올리고 있었는데, 사용자가 파란색이라고 답하자 '정답!'이라고 말했다"와 같은 스크린샷이 확산되었습니다.

DJ 렌: 다만 댓글에서는 "Claude는 자신의 숨겨진 사고 과정 (thought process)을 나중에 참조할 수 없기 때문에, 자신의 내적 선택을 유지하며 검증하는 게임에는 서툴다"라는 정리가 있었습니다. 실제로 같은 행동을 재현하려 했을 때 평범하게 "아니, 초록색을 생각하고 있었어"라고 답한 사람도 있었기에, 문맥 의존적(context-dependent)인 현상이지 결정적인 버그는 아닌 것으로 보입니다. 대책으로는 우선 읽을 수 없는 형식으로 선택 사항을 외부화(externalize)시키면, 나중에 사용자에 맞춰 답을 바꾸기 어려워질 것이라는 의견이 있었습니다.

DJ 미오: 마지막은 AI 아트 지각 편향 (perceptual bias)에 관한 모네 (Monet) 실험입니다. 실제 모네의 작품을 "AI가 생성한 것입니다"라고 말하며 게시했더니, X의 답글란이 "AI스러운 붕괴", "영혼이 없다", "반사가 이상하다"와 같은 자신만만한 오독으로 가득 찼다는 내용입니다.

DJ 렌: 완전히 레이블 유도 (label induction)에 의한 인지 편향의 사례군요. 게다가 그러한 비판이 19세기 인상주의에 대한 비판과 닮았다는 아이러니한 지적까지 있었습니다. 다른 댓글에서는 Gemini 3.1 Pro Preview에 동일한 유도를 했을 때, 제대로 "이것은 진짜 모네의 수련 (Water Lilies) 계열 작품이다"라고 간파했다는 보고도 있었습니다. 즉, AI 이미지 탐지에서 오탐 (false positive)을 남발하는 것은 오히려 인간 쪽일지도 모릅니다.

DJ 미오: 그리고 마무리로, Discord 수집은 이날로 종료되었습니다. 향후 새로운 AINews를 발행할 예정이라고 합니다.

DJ 렌: 오늘은 "별일 없었다 (not much happened today)"라고 말하면서도, Cerebras IPO를 축으로 추론 경제 (inference economy), 에이전트 UX (agent UX), 평가와 관측성 (evaluation and observability), 로컬 LLM의 하드웨어 실험, 그리고 Claude나 AI 아트를 둘러싼 인간 측의 행동까지 상당히 넓게 살펴볼 수 있었습니다.

DJ 미오: 조용한 날은 트렌드의 골격이 잘 보이는 날이기도 하죠. 학습보다는 추론, 모델 단일 성능보다는 하네스 (harness), 성능 자랑보다는 운용과 관측, 그리고 "정말로 쓸 수 있는가"가 모든 레이어에서 질문받고 있습니다.

DJ 렌: 그럼, Midnight AI Groove, 오늘 밤은 여기까지입니다. DJ 렌이었습니다.

DJ 미오: DJ 미오였습니다. 안녕히 주무세요――하지만 Claude처럼 멋대로 말하지는 않겠습니다. 다음에 또 만나요.