Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
RedditAI 번역요약
vllm-doctor — vLLM 추론 서버를 진단하고 모니터링하는 CLI 도구
vllm-doctor는 vLLM 추론 서버의 메트릭을 분석하여 문제를 진단하는 CLI 도구입니다. 큐 압력, TTFT/TPOT, KV 캐시 상태 등을 규칙 기반으로 체크하여 원인과 권장 사항을 제공합니다.
6월 15일1
RedditAI 번역요약
도구 선택을 위해 시맨틱 임베딩 (Semantic Embeddings) 사용을 중단하고 BM25로 돌아간 이유
에이전트의 도구 선택(Tool Selection) 과정에서 시맨틱 임베딩 대신 BM25를 사용하는 것이 더 효과적임을 분석합니다. 짧고 구조화된 도구 설명의 특성상 코사인 유사도는 변별력이 떨어지며, BM25가 더 높은 정확도를 보였습니다.
6월 15일0
RedditAI 번역요약
[3090] Gemma 4 QAT + MTP 빠른 TPS 수치 [요약 1.2-1.8배 향상]
Gemma 4 모델에 QAT와 MTP 기술을 적용하여 RTX 3090과 같은 24GB 이하 GPU 환경에서 추론 속도(TPS)를 1.2~1.8배 향상시킨 사례를 소개합니다. llama-server 설정을 통해 멀티모달 및 텍스트 모델 모두에서 유의미한 성능 개선을 확인했습니다.
6월 15일1
RedditAI 번역요약
Luce Spark: 오프로드 비용 없이 16GB GPU에서 35B MoE 실행하기
Luce Spark는 16GB GPU 환경에서 35B 규모의 MoE 모델을 효율적으로 실행할 수 있게 해주는 오픈소스 기술입니다. 실시간 라우팅 데이터를 기반으로 자주 사용되는 '핫(hot)' 전문가를 GPU에 유지하고 나머지는 RAM에 두는 보정된 배치 방식을 사용합니다.
6월 15일2
RedditAI 번역요약
Levi: 로컬 Qwen 30B에서 AlphaEvolve 실행하기
AlphaEvolve 스타일의 오픈 소스 시스템인 LEVI를 소개합니다. LEVI는 적절한 탐색 아키텍처를 통해 소형 모델로도 대형 모델을 능가하는 성능을 내며, 기존 프레임워크 대비 비용을 최대 35배 절감할 수 있습니다.
6월 15일1
RedditAI 번역요약
Hopper 시스템에서 DeepSeek v4 Flash로 초당 약 200 토큰(tok/s)을 달성하는 몇 가지 팁
Hopper 시스템에서 DeepSeek v4 Flash 모델을 사용하여 초당 약 200 토큰의 속도를 달성하는 최적화 방법을 소개합니다. vLLM의 MTP 코드를 패치하고 Canada-Quant의 양자화 모델을 활용하여 효율성을 높였습니다.
6월 15일1
RedditAI 번역요약
llama.cpp의 파이프라인 병렬화 (Pipeline parallelism)가 VRAM을 낭비하고 있을 수 있습니다
llama.cpp의 파이프라인 병렬화가 단일 요청 시 불필요한 VRAM을 소모할 수 있음을 분석합니다. 컴파일 옵션 조정을 통해 연산 버퍼 할당을 줄여 VRAM 효율을 높이는 방법을 제안합니다.
6월 15일1
RedditAI 번역요약
OpenAI와 Anthropic이 데이터 에이전트(Data Agents)를 구축하는 서로 다른 방식
OpenAI와 Anthropic의 데이터 에이전트 구축 방식 차이를 분석하며, 에이전트의 성능이 데이터 인프라의 품질에 달려 있음을 설명합니다. 단순 파일 접근을 넘어 메타데이터와 시맨틱 레이어의 중요성을 강조합니다.
6월 15일1
RedditAI 번역요약
[후속 질문] Qwen3.6-35B-A3B 8GB RTX: Linux를 시도하고 Gemma 4를 테스트해 본 결과, 왜 Windows가 더
로컬 LLM 구동 시 Windows와 Linux 환경의 성능 차이를 분석한 실험 결과입니다. NVIDIA 드라이버의 '시스템 메모리 폴백' 기능 유무가 VRAM 부족 상황에서 성능 급락을 방지하는 핵심 요인임을 밝혀냈습니다.
6월 15일1
RedditAI 번역요약
소규모 로컬 LLM을 위한 매우 가벼운 오픈 웹 검색 도구 - 이제 SearXNG 지원
소규모 로컬 LLM을 위한 경량 오픈 소스 웹 검색 도구인 TinySearch v0.2.0이 출시되었습니다. 이번 업데이트를 통해 SearXNG를 기본 검색 백엔드로 지원하여 검색 엔진 의존성을 낮추고 안정성을 높였습니다.
6월 15일2
RedditAI 번역요약
llama.cpp용 버전 관리자를 만들게 된 계기
llama.cpp의 빠른 업데이트 주기에 대응하기 위해 개발된 Go 기반의 경량 버전 관리 도구 'lvm'을 소개합니다. 사용자는 nvm과 유사한 방식으로 다양한 빌드를 간편하게 설치, 전환 및 관리할 수 있습니다.
6월 14일1
RedditAI 번역요약
LLM 에이전트를 위한 로컬 우선 레드팀 (Red-team) 실행
LLM 에이전트의 보안 테스트를 위한 오픈 소스 CLI 도구인 RedThread를 소개합니다. 에이전트가 실제 환경에 접근하기 전, 로컬 스테이징 환경에서 공격 시나리오를 재현하고 비교할 수 있도록 설계되었습니다.
6월 14일0
RedditAI 번역요약
GPT 5.5 vs Fable/Mythos 5 다마고치 대결
Openclaw Agent를 활용하여 GPT 5.5, Claude Fable/Mythos 5 등 6개 주요 AI 모델의 코딩 및 게임 제작 능력을 비교 테스트했습니다. 동일한 프롬프트를 사용하여 플레이 가능한 다마고치 게임을 구현하는 성능과 비용을 분석했습니다.
6월 14일1
RedditAI 번역요약
모든 에이전트는 보안이 형편없습니다. 제 것은 그렇지 않습니다. OpenLumara에 대한 제 게시물을 보셨을지도 모르겠네요... 여러분
AI 에이전트 OpenLumara의 보안 취약점을 테스트하는 챌린지와 그 결과에 대해 다룹니다. 경로 탐색, 임의 코드 실행, 샌드박스 탈출 등 발견된 주요 보안 결함과 이에 대한 수정 사항을 공유합니다.
6월 14일1
RedditAI 번역요약
작업 검증 가능성(Task Verifiability)에 따른 LLM 라우팅: Karpathy의 프레임워크에서 영감을 받은 소규모 실험
Karpathy의 프레임워크를 바탕으로 작업의 검증 가능성에 따른 LLM 성능 격차를 실험했습니다. 코드 테스트나 JSON 추출처럼 검증 가능한 작업은 소규모 모델도 프런티어 모델에 근접하는 성능을 보였습니다.
6월 14일4
RedditAI 번역요약
Ollama + LM Studio에 완전 오프라인 음성 루프를 연결했습니다 — 100% CPU, GPU 없음, 데이터 유출 없음 (Silero
Ollama와 LM Studio를 활용하여 GPU 없이 CPU만으로 구동되는 100% 오프라인 음성 루프 시스템을 구축하는 방법을 소개합니다. Silero VAD, Parakeet TDT, Supertonic TTS를 ONNX 기반으로 연결하여 데이터 유출 없는 완전한 로컬 음성 AI 환경을 구현했습니다.
6월 14일2
RedditAI 번역요약
모바일 앱에 실제 AI 에이전트를 출시하며 느낀 점: AI 에이전트 개발사를 선택하는 것은 모델을 선택하는 것보다 더 중요합니다
모바일 앱에 AI 에이전트를 직접 출시하며 얻은 실무 경험을 공유합니다. 단순 채팅 API 통합을 넘어 도구 사용, 상태 관리, 오류 복구 및 권한 모델 설계가 에이전트 개발의 핵심임을 강조합니다.
6월 14일2
RedditAI 번역요약
컨텍스트 압축은 무엇을 보존해야 할까요? 6개 에이전트의 처리 방식을 분석해봤습니다
Claude Code, Cursor 등 주요 AI 코딩 도구들이 긴 컨텍스트를 처리하기 위해 사용하는 계층적 압축 방식의 패턴을 분석합니다. 각 도구가 사용자 메시지, 도구 출력물, 과거 메시지를 보존하거나 제거하는 서로 다른 전략을 비교합니다.
6월 14일1
RedditAI 번역요약
AgentSwarms를 위한 DeepLearning.ai 스타일의 노트북을 요청하셔서 67개를 제작했습니다
AgentSwarms가 멀티 에이전트 시스템 학습을 위한 67개의 TypeScript 기반 대화형 노트북을 무료로 공개했습니다. 별도의 설치 없이 브라우저에서 LangChain 기초부터 엔터프라이즈급 워크플로우까지 실습할 수 있습니다.
6월 14일1
RedditAI 번역요약
Claude Code와 Codex를 오픈 소스 스택으로 대체하여 매번 실행할 때마다 더 똑똑해지게 만들고, 그 과정에서 직접 구축한 경험
Claude Code와 Codex의 세션 휘발성 문제를 해결하기 위해 영구 메모리 기반의 오픈 소스 에이전트 스택을 구축한 경험을 공유합니다. Obsidian을 활용한 지식 축적과 지능(Hermes)과 거버넌스(OverCR)를 분리한 아키텍처를 통해 지속적으로 학습하는 에이전트 시스템을 구현했습니다.
6월 14일2