Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
RedditAI 번역요약
Qwen 3.8 Flash Next q2_0을 2060 노트북(RAM 32GB + VRAM 6GB)에서 Strata를 사용하여 실행하기
Qwen 3.8 Flash Next q2_0 모델을 구형 노트북(RAM 32GB, VRAM 6GB)에서 Strata를 사용하여 실행한 성능 테스트 결과입니다. 50k 컨텍스트에서 10 토큰/초의 디코드 속도가 매우 인상적이며, 특히 거의 100 토큰/초에 달하는 프리필 속도는 큰 프롬프트 처리 시 유용합니다.
10월 8일0
RedditAI 번역요약
Strix Halo (gfx1151, ROCm) 기반 300B급 MoE 모델 두 개를 각각 128GB 미니 PC에 탑재한 엔진 Kyojin 공개
Strix Halo (gfx1151, ROCm) 기반의 Kyojin 엔진을 공개하며, 300B급 MoE 모델 두 개(GLM-5.3-Flash, MiMo-V2.6-Flash-MOPD)를 각각 128GB 미니 PC에 탑재했습니다. 이 엔진은 ExLlamaV3를 기반으로 하며, 높은 추론 속도와 낮은 KLD 값을 보여줍니다.
10월 8일1
RedditAI 번역요약
로컬 환경에서 구체적인 모델(Qwen)과 Claude Opus 4.6을 동일한 코딩 작업에 테스트한 결과 공유
본 글은 로컬 환경에서 구체적인 모델(Qwen)과 Claude Opus 4.6을 동일한 코딩 작업에 테스트한 결과를 공유합니다. 세 가지 복잡한 프로그래밍 작업을 통해 두 모델의 성능을 비교했으며, 특히 숨겨진 테스트와 코드 검토 과정에서 두 모델 간의 결과 차이가 매우 적음을 보여줍니다.
10월 8일1
RedditAI 번역요약
MIT 라이선스가 적용된 코드 지식 그래프 도구를 만들었습니다 (완전 로컬, 클라우드 없음)
개발자가 거대한 코드베이스의 의존성을 파악하기 위해 로컬에서 실행 가능한 코드 지식 그래프 도구 'repopedia'를 개발했습니다. 이 도구는 MIT 라이선스를 따르며, 클라우드나 외부 서버 연결 없이 SQLite 파일에 코드를 분석하여 함수 호출 관계(전이적 호출자)를 정확하게 추적할 수 있습니다. 특히 Claude Code 같은 에이전트가 텍스트 검색 대신 그래프 질의를 통해 더 빠르고 정확한 파급 효과(blast radius) 분석을 할 수 있게 합니다.
10월 8일1
RedditAI 번역요약
Strix Halo의 NPU가 유휴 상태에 있다? 내 pi 코딩 에이전트가 125B MoE를 실행하며 하네스가 중요하다는 것을 증명하다
작성자는 Pi 코딩 에이전트를 활용하여 NPU를 통해 125B MoE 모델(Qwen3.8 Flash-Next)을 구동하는 과정을 공유했습니다. 이 시스템은 클라우드 호출의 약 95%를 대체하며, 특히 로컬 환경에서 높은 속도와 효율성을 입증했습니다. 검색 및 결정 과정 등 여러 기능이 개발 워크플로우에 큰 개선을 가져왔습니다.
10월 8일1
RedditAI 번역요약
DeepSeek Harness 데스크톱 앱의 29개 UI 언어 지원 (MIT)
DeepSeek Harness 데스크톱 앱의 사용자 경험 개선을 위해 29개 언어를 지원하는 플러그인을 개발했습니다. 이 플러그인은 핵심 코드를 수정하지 않고도 다양한 언어에 대한 사전을 제공하며, 특히 아랍어, 우르두어 등 오른쪽-왼쪽(RTL) 문자를 포함한 언어 지원 기능을 추가했습니다.
10월 8일0
RedditAI 번역요약
[프로젝트] Alrithm - 코드 및 항공우주 분야의 16,800개 이상의 검증된 추론 데이터셋을 LLM 파인튜닝용으로 스트리밍
Alrithm은 코드 및 항공우주 분야의 검증된 추론 데이터셋을 LLM 파인튜닝에 사용할 수 있도록 스트리밍하는 API를 업데이트했습니다. 이 API는 SDK 없이 ndjson 형식으로 데이터를 직접 트레이닝 파이프라인에 공급하며, 디버깅, 알고리즘 최적화 등 전문적인 코딩 시나리오와 궤도 역학 같은 항공우주 지식을 포함합니다.
10월 8일0
RedditAI 번역요약
Pi 코딩 에이전트를 위한 Kev/Laya 또는 Jev를 사용하는 자동 모드 플러그인
Pi 코딩 에이전트의 자동 모드 플러그인(pi-automode-classifier)을 공개했습니다. 이 플러그인은 셸 명령 실행 전, 내장 규칙과 외부 모델(Jev 또는 Kev/Laya)을 사용하여 명령어의 안전성을 검사합니다. 위험도가 높은 명령은 사용자 승인을 요청하며, 모델 자체는 명령을 차단하지 않습니다.
10월 8일0
RedditAI 번역요약
NeuDecide 공개: WASM 브라우저 데모가 가능한 43MB 오디오-투-툴 모델
NeuDecide는 오디오와 도구 정의를 입력받아 중간 전사 과정 없이 직접 도구 호출을 반환하는 43MB의 경량 모델입니다. WASM 브라우저 데모 및 단일 CPU 스레드 환경에서 실행 가능하며, 로봇 공학 등 음성 제어가 필요한 분야에 활용될 수 있습니다.
10월 8일1
RedditAI 번역요약
800명 이상의 영구 에이전트로 구동되는 LLM 기반 마을: 동시성, 컨텍스트 캐싱 및 추론 비용
본 기술 보고서는 800명 이상의 AI 거주민이 상호작용하는 LLM 기반 생활 시뮬레이션(Slow Vale)의 엔지니어링 아키텍처를 다룹니다. 동시적인 의사결정, 역동적인 액션 공간 관리, 그리고 컨텍스트 캐싱 및 추론 비용 최적화 방안에 대한 심층 분석을 제공합니다.
10월 8일1
RedditAI 번역요약
4090 48GB + 128GB RAM 환경에서의 Strata 테스트 결과
본 기사는 RTX 4090 48GB와 128GB RAM 환경에서 Strata 엔진을 활용한 성능 최적화 결과를 분석합니다. 특히, 대화 기록 보관(Conversation parking) 기능이 세션 복귀 시간을 극적으로 단축시키는 등 실질적인 이점을 제공함을 보여줍니다. 또한, n-gram 테이블 배치 방식 4가지를 비교하며, 특정 설정과 --prefill auto 옵션을 통해 높은 성능 향상을 달성할 수 있음을 제시합니다.
10월 8일1
RedditAI 번역요약
antirez의 ds4를 Qwen3.8 Flash Next로 줄여 Metal에서 구동하고 개선한 결과
작성자는 기존의 대규모 코드베이스(ds4)를 Qwen3.8 Flash Next 모델과 Metal 백엔드에 최적화하기 위해 획기적으로 축소했습니다. 이 과정을 통해 디코딩 속도와 MTP 성능이 크게 향상되었으며, 코드를 작게 만드는 것이 최적화 비용을 줄이고 안전성을 높이는 핵심임을 입증했습니다.
10월 8일1
RedditAI 번역요약
저장소(repo)를 프롬프트로 패킹하는 빠르고 효율적인 Rust CLI/TUI 도구 소개
본 글은 로컬/API 모델에 코드베이스를 입력할 때 발생하는 '프롬프트 오염' 문제를 해결하는 Rust 기반 CLI/TUI 도구인 repOx를 소개합니다. 이 도구는 빠른 속도와 Lazygit 스타일의 사용자 인터페이스를 제공하며, 토큰 게이지 확인 및 불필요한 파일 제거 기능을 갖추고 있습니다.
10월 8일1
RedditAI 번역요약
16GB GPU와 35B MoE를 위한 저사양 추론 엔진: Qwen 3.6으로 코딩
Qwen3.6-35B MoE 모델을 16GB V100 GPU 환경에서 구동하기 위한 저사양 추론 엔진 빌드를 소개합니다. AgrillaMoE를 포크하여 Unsloth 양자화와 2비트 UD-Q2_K_XL 방식을 적용했으며, 이를 통해 OpenAI 및 Anthropic API 지원과 함께 안정적인 코딩 성능을 확보했습니다.
10월 8일1
RedditAI 번역요약
에이전트/도구 사용을 위해 로컬에서 테스트한 15개 모델 (Bonsai 27B가 마지막)
본 기사는 15개의 로컬 LLM을 대상으로 Toolery라는 벤치마크를 사용하여 에이전트 및 도구 사용 능력을 비교 분석한 결과를 담고 있습니다. 이 테스트는 다양한 난이도의 시나리오에서 모델들이 실제로 작업을 완료하는 능력을 측정했습니다. 분석 결과, 각 모델의 성능 지표와 실패 원인을 상세히 제시하며, 특히 Bonsai 모델은 예산 초과(budget_violated)로 인해 어려움을 겪었음을 밝히고 있습니다.
10월 8일1
RedditAI 번역요약
Tootsy AI: 브라우저 사이드 패널 기반의 개인화된 AI 어시스턴트
Tootsy는 브라우저 사이드 패널에 거주하는 개인화된 AI 어시스턴트입니다. 사용자가 보고 있는 페이지의 내용을 읽고, 클릭하고 타이핑하며 전체 작업을 수행할 수 있습니다. Ollama나 LM Studio를 통해 로컬 모델을 실행하거나 OpenAI와 호환되는 서버(Claude, Gemini 등)에 연결하여 사용할 수 있습니다.
10월 8일1
RedditAI 번역요약
Spite 소개
Spite는 다양한 커스텀 추론 엔진을 하나의 시스템으로 통합하는 비전입니다. 사용자가 특정 카드와 모델에 맞춰 최적화된 커널과 설정을 직접 디자인하고 컴파일할 수 있게 합니다. 모든 레이어(모델, GPU 아키텍처, 연산)가 독립적인 모듈로 교체 가능하여 유연성을 극대화합니다.
10월 8일1
RedditAI 번역요약
Qwen 27B에서 클라우드 에이전트로 이동하는 경험은 눈을 뜨게 했지만, 후회는 없습니다.
작성자는 Qwen 3.5와 같은 로컬 모델을 통해 에이전트 개발 여정을 시작하며 큰 성취를 경험했으나, 궁극적으로 클라우드 기반의 복잡한 작업에서는 차이가 있음을 느꼈습니다. 특히 ChatGPT 등 클라우드 에이전트를 직접 사용해 본 후에는 로컬 환경만으로는 도달하기 어려운 수준에 이르렀다고 주장합니다.
10월 8일1
RedditAI 번역요약
NVLink 없이 6x3090 / 6x4090에서 Qwen3.8-Flash-Next 구동: prefill 속도 8~10배 향상, 장문맥 디코드
본 기사는 NVLink 없이 일반 PCIe 연결만으로 다수의 GPU(3090/4090)를 활용하여 Qwen3.8-Flash-Next와 같은 대규모 언어 모델을 구동하는 최적화 방법을 제시합니다. 특히, 기존 llama.cpp의 문제점이었던 장문맥(250k 토큰) 디코딩 시 속도 저하 문제를 해결하고 prefill 및 decode 성능을 획기적으로 향상시킨 패치 내용을 공유합니다.
10월 7일0
RedditAI 번역요약
2x CMP 170HX 64GB 환경에서 GLM-5.3-Flash (384K 컨텍스트) 성능 비교: ExL3 및 HBM 우선 설정 +
본 글은 2x CMP 170HX 환경에서 GLM-5.3-Flash와 Qwen3.8-Flash-Next 모델을 vLLM으로 구동하며 성능을 비교한 내용을 담고 있습니다. 특히 ExL3 엔진과 HBM 우선 설정을 통해 대규모 컨텍스트(384K)를 가진 모델의 추론 속도와 실제 코딩/에이전트 작업에서의 효율성을 분석했습니다.
10월 7일1