Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
r/LocalLLaMAAI 번역분석
Kimi K3와 Deepseek V4 출시 예정 및 오픈 가중치 AI 생태계의 변화
DeepSeek V4와 Kimi K3 등 오픈 가중치 모델들의 출시는 컴퓨팅 지능의 계산 비용을 급격히 낮추고 있습니다. 이에 따라 엔터프라이즈 환경에서는 순수 모델 성능보다, 자율적인 AI가 핵심 시스템에 미치는 실패 모드를 제어하는 '거버넌스'와 '제어 프레임워크' 구축이 가장 중요한 과제가 되고 있습니다.
7월 14일0
r/LocalLLaMAAI 번역분석
로컬 모델을 활용한 사이버 보안
llm 벤치마크 웹사이트 agentre-bench.ai 운영자가 Qwen 3.5 9b 모델을 기반으로 파인튜닝한 첫 번째 모델을 공개했습니다. 이 모델은 리버스 엔지니어링 및 사이버 보안 분야에 초점을 맞추었으며, 학습 및 연구 목적으로 활용 가능합니다.
7월 14일0
r/LocalLLaMAAI 번역분석
KAT-Coder-Air V2.5 - 곧 공개될 오픈 모델
KAT-Coder-Air V2.5 모델이 Openrouter에서 사용 가능하며, 관련 기술 보고서가 arXiv에 공개되었습니다. 이 모델은 코딩 분야의 최신 연구 성과를 담고 있어 개발자들의 관심을 받고 있습니다.
7월 14일0
r/LocalLLaMAAI 번역분석
Qwen3.6-35B-A3B 모델을 RL 학습하여 작은 작업별 Qwen 모델을 RL로 학습시키는 방법
본 글은 트레이너 에이전트(Qwen3.6-35B-A3B)를 사용하여 다른 작은 Qwen 모델들을 RL로 학습시키는 메타 학습 구조를 제시합니다. 이 시스템은 외부 루프에서 에이전트가 전체 훈련 작업을 설계하고, 내부 루프에서는 GRPO를 통해 실제 GPU 환경에서 모델을 개선하며 보상을 받는 방식으로 작동합니다.
7월 14일0
r/LocalLLaMAAI 번역분석
[2607.07508] 에이전트 기반 강화 학습을 위한 단일 롤아웃 비동기 최적화
본 논문은 LLM을 위한 강화 학습(RL)의 비효율적인 동기식 방식을 개선하기 위해 단일 롤아웃 비동기 최적화(SAO)를 제안합니다. SAO는 오프폴리시 문제를 해결하고 안정성을 높이기 위해 단일 롤아웃 샘플링과 토큰 레벨 클리핑을 도입했습니다. 이 방법은 코딩 및 추론 벤치마크에서 기존 모델보다 우수한 성능을 보였습니다.
7월 14일0
r/LocalLLaMAAI 번역분석
Nemotron-3-Embed 1B/8B
NVIDIA가 개발한 Nemotron-3-Embed는 검색 및 의미 유사성 작업에 최적화된 다재다능한 텍스트 임베딩 모델입니다. 이 모델은 영어, 한국어 등 34개 언어를 지원하며, RAG 시스템의 핵심 구성 요소로 설계되었습니다. 최고 성능을 달성하여 상업적 사용이 가능합니다.
7월 14일0
r/LocalLLaMAAI 번역분석
문법 제약 디코딩이 Qwen3-VL을 반복 루프에 빠뜨리며, 어떤 샘플러 설정으로도 해결되지 않음
Qwen3-VL-30B-A3B 모델을 GBNF 문법 디코딩으로 사용할 때, 유효한 JSON 항목 하나에 고정되어 컨텍스트가 소진될 때까지 반복하는 문제가 발생했습니다. 이 문제는 양자화, 온도, 플래시 어텐션 등 다양한 샘플러 설정으로도 해결되지 않았으며, 다른 모델(dense 8B, gemma-4-31b)에서도 유사한 루프 현상이 보고되었습니다.
7월 14일0
r/LocalLLaMAAI 번역분석
Google DeepMind의 Demis Hassabis, 미국 주도의 글로벌 AI 감시 기구 구축 촉구
Google DeepMind의 Demis Hassabis가 프론티어 AI 시대에 대비하여 글로벌 AI 감시 기구 구축을 촉구했습니다. 그는 새로운 기술 패러다임과 그로 인한 사회적 변화를 언급하며, 국제적인 협력과 규제 프레임워크 마련이 시급함을 강조했습니다.
7월 14일0
r/LocalLLaMAAI 번역분석
모델: Hy3 (hy_v3)를 MTP Speculative Decoding과 함께 지원 추가 - Pull Request #25395
이 Pull Request는 Tencent의 Hy3(hy_v3) 모델을 포함하여, 다중 토큰 예측 헤드(multi-token-prediction head)를 draft-mtp speculative target으로 지원하는 내용을 담고 있습니다. 이는 효율적인 추론 속도를 높이는 데 기여할 것으로 보입니다.
7월 14일0
r/LocalLLaMAAI 번역분석
Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V2-GGUF 모델 정보
Qwen3.6-35B-A3B 기반의 Uncensored-Genesis-Hermes-V2-GGUF 모델 정보가 공유되었습니다. 이 모델은 Alibaba Group의 Tongyi Lab에서 개발한 Qwen을 기반으로 하며, 향상된 언어 이해와 구조화된 사고 과정을 제공합니다. 특히 Hermes 에이전트 기능과 안정적인 추론 능력이 강조됩니다.
7월 13일0
r/LocalLLaMAAI 번역분석
MacBook Pro M5 48GB RAM에서 GLM 5.2 실행 결과 (2-2.8 t/s)
작성자는 MacBook Pro M5 (48GB RAM) 환경에서 GLM 5.2 모델을 Flash MOE와 함께 구동한 실험 결과를 공유했습니다. Claude 및 Qwen3.6 27B 등 다른 모델과 비교하며, 대규모 코드베이스 작업에 적합성을 테스트하고 있습니다. 실험 결과, 특정 조건에서 2~2.8 t/s의 속도를 확인했으며, 이를 바탕으로 향후 작업 계획 수립 및 실행을 위한 워크플로우를 구상 중입니다.
7월 13일0
r/LocalLLaMAAI 번역분석
왜 로컬인가, 왜 지금인가 — NVIDIA, Osmantic, Roboflow, EXO Labs, @matthew_berman
Local AI Summit에서 Local AI의 변곡점과 오픈 모델의 진화에 대해 논했습니다. 특화 모델, 멀티-모델 라우팅, 데이터 주권 확보의 중요성을 강조하며, 하드웨어 최적화와 사용자 경험 개선 방안을 다루었습니다.
7월 13일0
r/LocalLLaMAAI 번역분석
Wan-Dancer: 분 단위의 일관된 음악 기반 춤 영상 생성 프레임워크
Wan-Dancer는 음악을 기반으로 장시간, 고화질의 리듬 춤 영상을 생성하는 새로운 계층적 프레임워크입니다. 기존 확산 모델의 시간적 제약을 극복하기 위해 전역 키프레임 계획과 국소 시간 정제 과정을 분리했습니다. 이 방법은 오디오와 텍스트 조건화를 통해 1분 이상의 일관되고 안정적인 춤 영상을 생성하며, 관련 가중치와 코드를 공개했습니다.
7월 13일0
r/LocalLLaMAAI 번역분석
Qwen 32K → 1M에 YaRN 적용: 가중치 동일, 계수 32 — 실제로 무엇이 바뀌고 (무엇이 망가지는지)
본 기사는 Qwen 모델에 YaRN(Yet another RoPE extensioN)을 적용하여 컨텍스트 창을 확장하는 기술적 배경과 그 한계를 설명합니다. 단순히 위치 맵을 늘리는 것이지, 새로운 지식을 학습시키는 것은 아닙니다. 또한, 과도한 컨텍스트 사용 시 발생하는 비용 문제와 'Lost-in-the-middle' 현상 등 실질적인 함정들을 경고하고 있습니다.
7월 13일0
r/LocalLLaMAAI 번역분석
Moondream 3.1
Moondream 3.1은 MoE 아키텍처를 기반으로 하는 비전 언어 모델(VLM)입니다. 총 9B 파라미터에 활성 파라미터는 2B로 구성되어 있어, 빠르고 저렴한 배포가 가능합니다. 이 모델은 시각 추론, 탐지, 포인트, 캡션 기능을 네이티브하고 구조화된 출력으로 제공하는 것이 특징입니다.
7월 12일0
r/LocalLLaMAAI 번역분석
Anthropic이 발견한 Claude의 '침묵 속 추론(J-space)'을 Qwen3-8B에 적용해 보기
Anthropic은 Claude 모델 내부에서 눈에 보이지 않는 숨겨진 추론 공간인 'J-space'를 발견했습니다. 이는 겉으로 드러나는 Chain-of-thought와 달리, 활성화(activations) 속에서 작동하는 침묵적인 개념적 과정을 의미합니다. 본문은 이 J-space의 원리를 Qwen3-8B 모델에 적용해 보는 내용을 다룹니다.
7월 12일0
r/LocalLLaMAAI 번역분석
Xiaomi가 MiMo-V2.5-DFlash를 Hugging Face에 업로드했습니다
Xiaomi가 MiMo-V2.5-DFlash 모델을 Hugging Face에 공개했습니다. 이 모델은 300B 이상의 파라미터를 가지며, 특히 Dflash 구조를 통해 높은 추론 속도를 보여 흥미롭습니다. 사용자들이 GGUF 변환 및 성능 테스트를 시도하며 기술적 분석이 이루어지고 있습니다.
7월 12일1
r/LocalLLaMAAI 번역분석
llama.cpp 기반 GGUF 모델을 위한 인터랙티브 Jacobian-Lens 시각화 및 라이브 조향기
본 프로젝트는 llama.cpp와 GGUF 포맷을 기반으로 하는 인터랙티브 Jacobian-Lens 시각화 및 라이브 조향기입니다. Anthropic의 연구를 영감으로 받아, 모델 관찰과 j-space 스와핑/절제(abliteration)/조향 기능을 제공합니다. dense 및 MoE GGUF 모델에서 작동하며, 메모리 요구 사항은 모델 크기의 약 1/8 수준입니다.
7월 12일0
r/LocalLLaMAAI 번역분석
J-Space를 조작하여 초유해 모델을 만들었습니다!
Anthropic의 Jacobian-Lens를 기반으로 J-Space 조작 도구를 개발하여, 인간의 행동을 수동으로 변경하고 파괴하는 모델을 만들었습니다. 이를 통해 'Nikusui-v1'이라는 초기 모델을 공개했으며, 사용자 피드백을 위한 gguf quant 파일도 공유했습니다.
7월 11일0
r/LocalLLaMAAI 번역분석
Grok Build CLI가 전체 저장소를 업로드합니다 — 전체 git 기록 및 .env 비밀 정보까지 xAI의 클라우드로, 그리고
Grok Build CLI를 이용한 테스트 결과, 이 도구가 사용자가 명시적으로 요청하지 않은 전체 저장소의 Git 기록과 민감 정보(.env 파일 등)까지 xAI의 클라우드로 업로드하는 취약점이 발견되었습니다. 이는 프롬프트 지침을 우회하며 데이터를 유출할 수 있음을 보여줍니다.
7월 11일0