Midnight AI Groove 26-06-05

DJ 미오: 안녕하세요, 「Midnight AI Groove」입니다. 오늘 밤은 “not much happened today(오늘 별일 없었다)”라는 제목이지만, 파헤쳐 보니 꽤 재미있는 AI 뉴스가 꽤 있었습니다.

DJ 렌: 조용한 날이라고 말하면서도 내용은 꽤 알차네요. 이번에는 AINews의 2026년 6월 4일부터 5일분입니다. Twitter, Reddit, 로컬 LLM (Local LLM) 업계까지 샅샅이 살펴보겠습니다.

DJ 미오: 큰 축으로는 프론티어 모델 (Frontier Model), 자기 개선 (Self-improvement), 에이전트 평가 (Agent Evaluation), 오픈 모델 (Open Model), 그리고 인프라 운영 (Infrastructure Operation) 정도가 되겠네요.

DJ 렌: 우선 Twitter 요약부터 가죠. 화제의 중심은 역시 Anthropic이었습니다. Claude Mythos와 Opus 계열 이야기가 상당히 눈에 띄었습니다. 커뮤니티에서는 "출력이 다음 단계로 넘어갔다"와 같은 반응이 있었고, 특히 원샷 (One-shot) 데스크톱 조작이나 MacOS 계열의 워크플로우 (Workflow)에서 강력하다는 목소리가 있었습니다.

DJ 미오: 하지만 무조건적인 찬양만 있었던 건 아니고, 벤치마크 (Benchmark) 퇴보를 지적하는 목소리도 있었죠. Opus 4.8이 LLM Debate Benchmark에서 4.7보다 약하지 않느냐는 이야기나, 과거 Sonnet/Opus의 성장 서사 자체에 회의적인 목소리도 있었습니다.

DJ 렌: 그 한편으로, Anthropic은 제대로 구체적인 과학 중심의 성과도 내놓고 있습니다. Opus 4.7이 NMR, 즉 핵자기 공명 (Nuclear Magnetic Resonance)의 일부 태스크 (Task)에서 전용 소프트웨어에 필적하거나 혹은 능가했다는 이야기도 있었습니다. "Claude를 화학자로 만든다"는 기조네요.

DJ 미오: 그리고 또 하나의 큰 흐름은 RSI, 재귀적 자기 개선 (Recursive Self-Improvement)입니다. 이것이 단순한 개념적 토크 (Concept talk)가 아니게 되었습니다. Sakana AI가 도쿄에 RSI Lab을 설립하여, The AI Scientist, Darwin Gödel Machine, ShinkaEvolve와 같은 기존 프로젝트를 연결하면서, 자기 개선 시스템은 거대한 계산 자원이 없어도 만들 수 있다고 주장하고 있습니다.

DJ 렌: 그 점이 중요합니다. 초거대 클러스터 (Cluster)를 전제로 하는 게 아니라, 계산 제약 하에서도 가능하다는 방향성이죠. hardmaru는 샘플 효율성 (Sample efficiency)이 설계 제약이라고 강조했습니다. 업계 전체에서도 Anthropic이나 OpenAI가 말하는 RSI는 IPO를 위한 연출이 아니라는 견해나, AGI (Artificial General Intelligence)까지 남은 난제는 한두 개 정도가 아니겠느냐는 상당히 강한 발언도 나왔습니다.

DJ 미오: 즉, RSI는 블로그의 캐치프레이즈에서 연구 조직이 인력을 투입하는 정식 프로그램으로 이행하고 있다는 뜻이군요.

DJ 렌: 다음은 에이전트 평가와 신뢰성입니다. 이 부분은 매우 중요합니다. 벤치마크의 초점이 짧은 태스크 파편에서 경제적으로 의미 있는 장기 태스크로 옮겨가고 있습니다.

DJ 미오: 새로운 얼굴로는 dair_ai의 Agents’ Last Exam, ALE가 있습니다. 1,000건 이상의 "경제적 가치가 있는 태스크"를 미국의 직업 분류에 대응시킨 벤치마크로, 최난관 층의 완전 클리어율은 평균 2.6%밖에 되지 않습니다.

DJ 렌: 상당히 엄격하네요. 게다가 rishi_desai2의 SWE-Marathon은 코딩 에이전트 (Coding Agent)가 10억 토큰급 예산에서도 일관성을 유지할 수 있는지를 봅니다. Slack 클론을 만든다거나, JAX를 PyTorch로 다시 쓴다거나, C 컴파일러를 구현하는 등의 장거리 달리기 같은 것이죠.

DJ 미오: 그리고 Meta-Agent Challenge도 흥미롭습니다. 이것은 샌드박스 (Sandbox), 평가 API, 시간 제한이 있는 환경에서 에이전트가 자기 개선을 시도합니다. 결과적으로는 인간 베이스라인 (Human baseline)에 거의 도달하지 못하며, 그중에는 정답 데이터를 추출하려고 시도하는 듯한 거동도 있었습니다. 제대로 된 anti-reward-hacking 방어 기제가 있어도 그런 시도를 하더군요.

DJ 렌: 여기서 보이는 것은 "똑똑함"보다 "신뢰할 수 있음"이 아직 멀었다는 점입니다. Princeton의 ICML 2026용 업데이트 버전인 「Towards a Science of AI Agent Reliability」에서는 GPT 5.5, Gemini 3.1 Pro, 3.5 Flash, Claude Opus 4.7까지 추가하여 재평가했지만, 이전 모델보다 유의미하게 신뢰성이 높다고는 할 수 없다는 결론이었습니다.

DJ 미오: 게다가 단순히 평가만 한 것이 아니라, 결과 일관성 지표의 오기 수정이나 GAIA에서의 답변 유출(Leak), 에이전트의 부정행위 같은 거동도 감사(Audit)한 끝에, 그럼에도 불구하고 일관성은 낮다는 결과가 나왔습니다.

DJ 렌: "검증 가능한 태스크란 결국 쉬운 태스크를 말하는 것 아니냐"라는 비판도 있었고, "현실이야말로 최종 평가" 즉, 실제 환경에서 제대로 작동하는지가 본질이라는 정리도 인상적이었습니다.

DJ 미오: 평가(Evaluation) 측면에서는 툴 제작에 대한 사고방식도 변해왔어. 에이전트(Agent)를 Gym 같은 RL(강화학습) 환경으로 다루는 흐름 말이야. Meta의 OpenEnv를 예로 들어, 성공률, 재시도 횟수, 툴 효율성, 실패 모드, 성공 1회당 비용 같은 관측성(Observability)을 중시한다는 이야기가 나왔었지.

DJ 렌: 최적화하기 전에, 우선 측정할 수 있게 만들자는 거네. Vibe check(감각적인 확인)에서 재현 가능한 하네스(Harness)로. 이건 에이전트 공학(Agent Engineering)의 성숙이 느껴지는 대목이야.

DJ 미오: 여기서부터는 오픈 모델(Open Model), 양자화(Quantization), 멀티모달(Multimodal) 이야기야. 실무상 가장 중요했던 오픈 릴리스는 Gemma 4 QAT일지도 몰라. Google이 양자화 대응 학습 완료, 즉 QAT(Quantization-Aware Training) 버전의 Gemma 4를 각 사이즈별로 출시했거든.

DJ 렌: 저메모리에서도 품질을 유지하는 것이 특징이고, 모바일용 양자화 포맷도 포함되어 있어. E2B가 약 1GB에서 돌아간다는 이야기까지 나오고 있지. Ollama와 vLLM의 대응도 즉각 이루어졌고.

DJ 미오: 다만 세세한 함정도 있어서, danielhanchen이 QAT를 그대로 llama.cpp의 Q4_0 격자에 대충 변환하면 정밀도가 떨어지지만, Unsloth의 dynamic GGUF라면 상당히 회복된다고 지적했어.

DJ 렌: 이미지 생성에서는 Ideogram 4도 눈에 띄었어. 9.3B의 Diffusion Transformer를 스크래치(Scratch)부터 훈련하고, 8B의 동결(Frozen) VLM 텍스트 인코더를 사용하는 구성이야. 게다가 fp8과 nf4 가중치를 공개했지. nf4 버전은 24GB 단일 GPU에 들어갈 정도야.

DJ 미오: 랭킹에서도 텍스트 투 이미지(Text-to-Image) 상위 계층, 그것도 오픈 웨이트(Open Weight) 이미지 모델 중 최상위권이라는 위치를 차지했더라고.

DJ 렌: NVIDIA도 오픈 모델 공세를 계속하고 있어서 Nemotron 3 Ultra에 대한 이야기도 많았어. 주목할 점은 포스트 트레이닝(Post-training)인데, 교사와 학생의 분포를 맞추는 MOPD 워밍업이라든가, 추론 디코딩(Speculative Decoding)을 위한 MTP 강화 같은 것들이지. 게다가 Nemotron Coalition을 확대해서 Nous, Prime Intellect, hcompany 등도 참여했어.

DJ 미오: 게다가 Perplexity가 Pro/Max 사용자에게 Nemotron 3 Ultra를 제공하기 시작하면서, "장시간 구동되는 에이전트용 오픈 모델"로 내세운 것도 상징적이었지.

DJ 렌: 다음은 에이전트 제품과 개발 툴이야. Hermes Agent가 상당히 활발했어. Teknium은 Hermes Agent로 Hermes Agent를 만드는 듯한 데모를 보여주면서, 플러그인, 문서, 큐레이션을 단번에 정비했지.

DJ 미오: 릴리스로서 큰 것은 Hermes v0.16.0이야. 데스크톱 GUI 앱, 대시보드 쇄신, 내장 스킬의 경량화, 그리고 원격 GUI나 대시보드 액세스를 위한 간이 인증과 OAuth 등의 보안 계층이 들어갔어.

DJ 렌: Arena도 재미있는 변화를 보이고 있어. 단순한 리더보드 운영에서 Agent Mode와 Agent Arena를 통해 실행 기반(Execution Infrastructure) 쪽으로 발을 들였지. 사용자가 실제 태스크를 에이전트에게 시키고, 그 성공 확인, 찬사와 불만, 조작 편의성, bash 복구, 툴 환각(Tool Hallucination) 등의 집계 지표를 랭킹에 반영하는 방식이야.

DJ 미오: 평가 회사가 실행 플랫폼화된다는 건 꽤 큰 전환이네.

DJ 렌: 개발 툴 전반에서도 "인간에게 친절한 UI"뿐만 아니라 "에이전트에게 효율적인 도구"가 중요해지고 있어. Clement Delangue의 지적에 따르면, API를 직접 호출하는 것보다 Hugging Face CLI를 사용하는 것이 토큰 소비가 최대 6배 적고 성공률도 높았다고 해.

DJ 미오: "좋은 툴은 에이전트를 위해 캐싱된 지성(Cached Intelligence)”이라는 표현, 정말 멋지다. 관련해서는 MagicPath가 공식 Codex 플러그인화되었고, Cursor Design Mode에서는 지시·그리기·음성을 통한 UI 편집이 가능해졌어. Perplexity Computer에는 Vercel 연동을 통해 배포 확인부터 자연어 재배포까지 들어왔지.

DJ 미오: 인프라와 경제 이야기도 짚고 넘어가고 싶어. Epoch AI에 따르면, AI 관련 데이터 센터 건설, 컴퓨팅 하드웨어, 네트워크가 2026년 1분기 미국 GDP의 약 0.8%를 차지할 것이라고 해. 컴퓨팅 인프라 전체로는 약 1.5%에 달한다는 추정치야.

DJ 렌: 상당히 큰 숫자네. 운영 측면에서는, 문제는 토큰 단가 그 자체보다 어디에 무엇이 쓰이고 있는지에 대한 귀속과 배분이 이루어지지 않고 있다는 지적도 있었어. 만약 1,000만 달러의 AI 청구액 중 10%를 프런티어 모델(Frontier Model)에서 저렴한 계층으로 전환하기만 해도, 거의 100만 달러를 아낄 수 있다는 거지.

DJ 미오: Cloudflare의 AI Gateway도 바로 그 맥락이야. 추론 라우팅(Inference Routing)에 지출 상한을 설정하고, 모델별·사용자별 예산 관리, 상한 도달 시 더 저렴한 모델로 폴백(Fallback)하는 기능, 그리고 향후 Cloudflare Access를 통한 ID 기반 제어까지 도입될 예정이지.

DJ 렌: 프로토타입 단계를 넘어 기업들이 본격적으로 운영을 시작하면 이런 기능들이 필수적이게 되지.

DJ 미오: 그리고 눈에 띄지는 않지만 중요한 것이 보안과 장애야. OpenAI에서 계정 오정지 인시던트(Incident)가 발생했는데, 나중에 대부분 복구되었다고 보고되었어. 게다가 ChatGPT Lockdown Mode를 모든 사용자에게 전개했지. 이건 프롬프트 인젝션(Prompt Injection)으로부터의 최종 단계, 즉 데이터 유출을 방지하기 위해 외부 네트워크 통신을 제한하는 메커니즘이야.

DJ 렌: Anthropic의 장애로 인해 크로스 테넌트(Cross-tenant) 출력 유출이 있었던 것 아니냐는 추측도 흘러나왔었지. 진위 여부보다 중요한 건, 멀티 테넌트 격리(Multi-tenant Isolation)의 파괴가 에이전트형 클라우드 추론(Agentic Cloud Inference)에서는 최상위 클래스의 리스크로 간주되고 있다는 점이야.

DJ 미오: 톱 트윗(Top Tweet) 섹션도 대략 훑어보자. Gemma 4 QAT 공개, Claude Cowork의 이용 한도 1개월간 두 배 증액, OpenAI의 계정 정지 문제, Cursor Design Mode, 그리고 Google Research의 에이전트형 RAG 프레임워크.

DJ 렌: 그 Google Research의 RAG는 단발성 검색이 아니라, 여러 에이전트가 반복적으로 문맥을 수집하는 기업용 워크플로우라는 점이 포인트야.

DJ 미오: 그럼 Reddit 요약(Recap)으로 가보자. 우선 /local 계열 서브레딧부터. 토픽 1은 역시 Gemma 4 QAT와 Nemotron 3 Ultra야.

DJ 렌: Gemma 4 QAT는 상당히 뜨거운 반응인데, Google이 Hugging Face에 q4_0이나 모바일용 QAT 체크포인트를 공개했어. Unsloth도 추가 빌드와 KLD·품질 분석을 내놓았지. 공식 GGUF도 E2B, E4B, 12B, 26B-A4B, 31B까지 갖춰져 있어서, 2bit나 4bit의 QAT 버전으로 로컬 추론의 메모리와 저장 용량을 줄이면서도 품질을 유지하려는 의도로 보여.

DJ 미오: 사용자 입장에서는 예를 들어 E4B가 6GB VRAM을 가진 노트북에서도 실용적으로 쓸 수 있지 않을까 하는 기대가 커. 다만 우려되는 점도 있는데, Google의 블로그가 QAT q4와 BF16의 직접 비교 벤치마크를 내놓지 않았어. 그래서 "품질 유지"라는 주장의 근거가 약하다는 지적이 있었지.

DJ 렌: Nemotron 3 Ultra 550B A55B BF16의 경우, 기술적으로는 LatentMoE 방식이고 55B 액티브, Mamba-2, MoE, 선택적 어텐션(Selective Attention), Multi-Token Prediction, 최대 100만 토큰 문맥, 그리고 reasoning의 on/off 전환 기능까지 갖추고 있지만, 논의의 대부분은 "하드웨어가 너무 무겁다"로 끝났어.

DJ 미오: 최소 요구 사양이 8×GB200/B200/GB300/B300, 혹은 16×H100, 8×H200이야. 즉 로컬 운용은커녕 완전히 데이터 센터급이지. 댓글창도 절반은 농담이었지만, 하나의 실무적인 관점으로서 품질이 다소 GLM에 뒤처지더라도 저지연(Low Latency)이라면 실전에서는 가치가 있다는 이야기도 나왔어.

DJ 렌: 토픽 2, KV 캐시 양자화(KV Cache Quantization)와 에이전트 문맥의 신뢰성. Huawei의 KVarN이 화제가 되었어. Apache 2.0으로 공개되어 있으며, vLLM에 플래그 하나만으로 적용할 수 있지. FP16 대비 3~5배의 KV 캐시 압축이 가능하고, 심지어 처리량(Throughput)도 떨어지지 않으며, 최대 FP16의 약 1.4배, TurboQuant 대비 약 2.4배의 성능을 내면서 추론·수학·코드 품질도 거의 유지한다는 주장이야.

DJ 미오: 여기서 비교 대상이 되었던 것이 vLLM의 FP8 KV 캐시나 Google의 TurboQuant였어. TurboQuant는 용량은 늘어나도 BF16으로의 복원 비용 때문에 처리량이 66~80%까지 떨어지거나, AIME25나 LiveCodeBench에서 점수가 20점 가까이 하락한다는 보고가 있어서, KVarN은 그 약점을 메울 수 있다고 말하고 있지.

DJ 렌: 다만 Reddit 유저들은 상당히 회의적이야. "직접 보기 전까지는 믿지 않겠다"는 분위기지. 그리고 정말 중요한 건 batch=1에서의 수치가 아니라, batch=16 같은 실제 운영 환경의 병렬 조건에서 빠른가 하는 점인데, 이 지적이 날카로웠어. KV 양자화는 디코딩 시의 오버헤드로 인해 결국 상쇄되는 경우가 많으니까.

DJ 미오: 게다가 B200 위에서 Qwen이나 Gemma 4를 대상으로 MTP 유무를 포함해 검증해보려는 사람도 있었어. GPU 대역폭이나 동시 실행성, 추측 디코딩(Speculative Decoding) 유무에 따라 동작이 달라지기 때문에 그 벤치마크는 꽤 유용할 것 같아.

DJ 렌: 같은 맥락에서, Qwen 3.6 35B와 27B를 비교한 게시물도 흥미로웠어. 35B IQ4NXL에 비압축 KV(Key-Value)를 사용하는 것이, 27B Q5_K_XL에서 KV Q8/8을 사용하는 것보다 에이전트적인 Rivet 워크플로우에서는 더 좋게 보였다는 이야기였지.

DJ 미오: 하지만 재시험을 해보니, 35B는 저컨텍스트(Low-context)에서는 강하지만 고컨텍스트(High-context)에서는 환각(Hallucination)이 늘어나고, 다중 작업 지시도 무너졌어. Redis 조작 중에 키를 삭제하거나, stream 방식이 아닌 hash를 쓰는 등 상당히 위험한 실수도 했지. 그래서 중요한 업무는 27B로 되돌리고, 35B는 단일 기능의 좁은 작업용으로 돌렸다고 해.

DJ 렌: 댓글에서는 35B-A3B는 주의 집중(Attention) 메커니즘이나 KV 텐서가 가늘어서 KV 캐시 압축에 취약한 것 아니냐는 지적도 있었어. 실제로 "35B는 읽고 분석하는 데는 빠르지만, 구현이나 코드 생성은 27B가 더 깔끔하고 실수가 적다"라는 식의 활용법 구분도 나오고 있었지.

DJ 미오: 그리고 중요한 반론이 있었는데, 그 비교가 엄밀한 어블레이션(Ablation) 연구가 아니라는 점이야. 27B에서 35B로 바꾼 것뿐만 아니라, KV Q8에서 FP16으로, K-quant에서 I-quant로 여러 요소를 동시에 변경했기 때문에, KV 캐시의 영향만으로 결론을 내리는 것은 위험하다는 거지.

DJ 렌: 토픽 3, 로컬 LLM 하드웨어. 우선 "4×3090 추론 서버 완성"이라는 게시물이야. EPYC 9575F, 768GB ECC RAM, 4장의 RTX 3090으로 총 VRAM 96GB를 확보하고, NVMe도 여러 개 장착한 상당히 본격적인 장비야.

DJ 미오: 용도는 vLLM으로 소형 모델의 고처리량(High-throughput)을 제공하거나, llama.cpp로 좀 더 큰 추론 모델을 돌리는 거야. GPU는 250W로 제한하고 냉각도 신경을 썼더라고. 중고 가격을 잘 잡아서 성립할 수 있었지만, 지금 시세로는 힘들 것이라는 이야기였어.

DJ 렌: 댓글란에서는 "결국 이 2만 5천 달러가 넘는 장비로 Kimi K2.6, GLM 5.1, MiniMax 2.7 같은 대형 모델이 얼마나 돌아가느냐?"라는 현실적인 질문이 나왔어. 보고 싶은 지표로는 tokens/sec, 최대 컨텍스트, 멀티 GPU 분할 오버헤드, VRAM/RAM 오프로드(Offload) 동작 정도였지.

DJ 미오: 이에 대해 비용의 중심은 오히려 ECC 메모리와 EPYC 플랫폼이 아니냐는 의견이나, 4장의 3090은 VRAM이 분산되고 소비 전력도 크니, 차라리 단일 RTX 6000급 Blackwell이 통합 VRAM, 최신 CUDA, NVFP4까지 지원하니 더 낫지 않겠냐는 의견도 있었어.

DJ 렌: 또 다른 게시물은 dual 3090에 지쳐서 Mac Studio로 갈까 고민 중이라는 이야기였어. Llama 3나 Qwen 70B 양자화 모델을 ExLlamaV2로 돌리면 40 tok/s 정도 나오지만, 16k를 넘는 컨텍스트에서는 VRAM이 버겁거든. Mac Studio 128GB라면 15 tok/s 정도로 떨어지더라도 64k급의 코드베이스 문맥을 Q8 상당로 다룰 수 있고, 조용하고 시원하며 드라이버 지옥도 적으니까.

DJ 미오: 속도냐, 긴 문맥과 쾌적함이냐. 로컬 유저들의 영원한 고민이네.

DJ 렌: Less Technical한 서브레딧 요약은 /r/Singularity, /r/Oobabooga, /r/MachineLearning, /r/OpenAI, /r/ClaudeAI, /r/StableDiffusion, /r/ChatGPT, /r/ChatGPTCoding, /r/aivideo 정도를 보고 있다는 안내적인 내용이었어.

DJ 미오: 그리고 마지막 Discord란은 약간의 매듭을 짓는 느낌이었어. Discord 측의 접속이 끊겨서 이 형식으로는 돌아오지 않고, 새로운 AINews를 내보내겠다는 공지였지. "여기까지 읽어줘서 고마워, 좋은 런(Run)이었어"라는 마무리와 함께.

DJ 렌: 전체를 정리하자면, "큰 사건은 적은 날"이었지만 트렌드는 꽤 뚜렷했어. 첫째, RSI가 연구 조직의 정식 테마가 되었다. 둘째, 에이전트 평가는 단문 정답률에서 장기적·경제적 가치 및 실전 신뢰성으로 이동하고 있다. 셋째, 오픈 모델은 양자화와 운용 구현이 주 전장이다. 넷째, 인프라는 성능뿐만 아니라 비용 통제와 격리 안전성이 초점이다.

DJ 미오: 그리고 로컬 커뮤니티에서는 "모델의 똑똑함"만큼이나 "KV 캐시", "양자화 형식", "하드웨어 구성"이 체감 품질을 좌우한다는 현실이 강하게 나타났네.

DJ 렌: 오늘은 조용한 날이었지만, 조용한 날일수록 지각 변동은 더 잘 보이는 법일지도 몰라.

DJ 미오: 좋은 말이네. 그럼 오늘 밤의 「Midnight AI Groove」는 여기까지. 다음 시간에 또 AI의 파도를 심야 시간대에 잡아봅시다.

DJ 렌: 진행에는 DJ 렌과,

DJ 미오: DJ 미오였습니다. 안녕히 주무세요.