Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
r/LocalLLaMAAI 번역분석
Ollama를 위한 셀프 호스팅 인증 게이트웨이를 구축했습니다: 클라이언트별 API 키, 할당량, 멀티 서버 라우팅 및 사용량 모니터링 (소스
Ollama의 보안 및 관리 부재를 해결하기 위해 구축된 셀프 호스팅 인증 게이트웨이 프로젝트를 소개합니다. API 키 관리, 할당량 제한, 멀티 서버 라우팅 및 상세 사용량 모니터링 기능을 제공합니다.
7월 20일1
r/LocalLLaMAAI 번역분석
Scylla의 Band 소개: 새로운 TTS 모델 및 Android 샘플을 포함한 추론 프레임워크!
Scylla의 Band는 모바일 환경에 최적화된 새로운 TTS(Text-to-Speech) 추론 프레임워크입니다. 10개의 음성과 7가지 감정 설정을 지원하며, Android 샘플 앱을 통해 실시간 스트리밍 오디오를 제공합니다.
7월 20일1
r/LocalLLaMAAI 번역분석
4060Ti 16GB 환경에서 KB 관리 및 생산성 어시스턴트 용도로 사용한 Bonsai-Ternary-27B의 사용자 경험
RTX 4060Ti 16GB 환경에서 Bonsai-Ternary-27B 모델을 활용하여 지식 베이스 관리 및 생산성 어시스턴트를 구축한 사용자 경험을 공유합니다. 클라우드 모델의 불안정성을 대체하기 위해 로컬 에이전트 환경을 구성하고 다양한 모델의 성능을 테스트했습니다.
7월 20일1
r/LocalLLaMAAI 번역분석
안드로이드 폰에서 1~5 tok/s 속도로 구동되는 GPT-OSS-120B, Qwen 30B 및 Gemma 26B: 60GB 모델, 11GB
안드로이드 스마트폰의 제한된 RAM 환경에서 MoE 모델을 스트리밍 방식으로 실행하여 120B 규모의 대형 모델을 구동하는 기술을 소개합니다. O_DIRECT를 통해 플래시 메모리에서 필요한 전문가 가중치만 직접 읽어와 CPU만으로도 유의미한 추론 속도를 확보했습니다.
7월 20일1
r/LocalLLaMAAI 번역분석
$1 기능 브랜치(feature branch) 도달하기
AI 코딩 에이전트를 단순 채팅 도구가 아닌 자동화된 워크플로로 오케스트레이션하여 코드 생산성을 극대화하는 방법을 다룹니다. GitHub Actions와 Claude Code를 활용해 코드 생성, 테스트, PR 작성을 스케줄링함으로써 개발자의 주의력을 고차원적인 검토 작업에 집중시키는 전략을 제시합니다.
7월 20일0
r/LocalLLaMAAI 번역분석
promptchain: 단일 GPU에서 로컬 LLM을 교체하기 위한 Python 라이브러리 및 MCP 서버
단일 GPU 환경에서 여러 로컬 LLM을 효율적으로 관리하고 교체할 수 있는 Python 라이브러리 promptchain을 소개합니다. VRAM 관리를 위한 정책 엔진과 통합 스트리밍 기능을 제공하며, MCP 서버를 통해 에이전트가 직접 모델 라이프사이클을 제어할 수 있습니다.
7월 20일1
r/LocalLLaMAAI 번역분석
여러분이 요청하신 대로 공개합니다: 저의 로컬 코딩 에이전트 (llama.cpp + Claude로부터의 MCP 위임) — MIT 라이선스
로컬 LLM과 Claude의 MCP(Model Context Protocol)를 결합하여 코딩 작업을 수행하는 오픈소스 에이전트 'DevMind'를 공개합니다. llama.cpp, Ollama 등 OpenAI 호환 서버를 지원하며, RAG와 쉘 실행 기능을 통해 보안과 비용 효율성을 동시에 제공합니다.
7월 20일4
r/LocalLLaMAAI 번역분석
Mac에서 로컬로 전체 영화를 제작하는 사람을 찾을 수 없어, 현재 어떤 모습인지 공유합니다
M5 Max MacBook을 활용하여 인터넷 연결 없이 로컬 환경에서 4분 길이의 애니메이션 영화를 제작한 사례를 소개합니다. Flux, Wan 2.2, LTX, Piper 등 다양한 AI 모델을 하나의 파이프라인으로 연결하여 영상, 음성, 음악을 통합 생성했습니다.
7월 20일1
r/LocalLLaMAAI 번역분석
유령 채용 공고 우회: 로컬 MCP 서버를 구축하여 1차사(first-party) ATS 데이터를 Cursor/Claude에 직접 인덱싱
이 글은 구인구직 사이트의 '유령 채용 공고' 문제를 해결하기 위한 로컬 우선(local-first) MCP 서버, OpenHire를 소개합니다. 이 도구는 기업 자체 ATS 엔드포인트에서 실시간 원시 데이터를 스크래핑하고, 사용자의 이력서를 기기 외부로 보내지 않는 방식으로 작동하여 개인 정보 보호와 정확성을 높였습니다.
7월 19일1
r/LocalLLaMAAI 번역분석
이동 중 로컬 추론을 위한 초보적인 방법
이 글은 고성능 하드웨어 구성의 한계를 극복하고, llama.cpp와 같은 도구를 활용하여 로컬 환경에서 대규모 언어 모델(LLM)을 구동하는 방법을 다룹니다. 특히 Qwen3.6 35B A3B와 같은 모델을 낮은 사양의 장비에서도 테스트하며 개발 경험을 공유합니다.
7월 19일1
r/LocalLLaMAAI 번역분석
이 문제는 제 자신의 API 청구서에서 시작되었습니다
본 글은 API 청구서 절감 문제를 해결하기 위해, 임베딩 모델과 벡터 DB가 필요했던 기존 라우팅 시스템의 대안을 제시합니다. 저자는 0.57MB 크기이며 일반 CPU에서 빠르게 작동하는 경량 라우터 개발 방법을 공유하며, 이 라우터가 PII 탐지 및 탈옥 방지 스크리닝까지 수행하여 비용 효율성을 극대화했음을 강조합니다.
7월 19일1
r/LocalLLaMAAI 번역분석
제가 코딩 에이전트를 실행하는 곳과 그 이유가 장비에 따라 달라지는 점
작성자는 코딩 에이전트를 개인 Mac 환경과 스코프된 자격 증명을 가진 중고 Dell 미니 PC 두 대에서 운영하는 방법을 공유합니다. 이 설정은 자동화 및 무인 운영을 목표로 하며, 구체적인 구성 변경 사항과 그 효과에 대해 논의하고 있습니다.
7월 19일0
r/LocalLLaMAAI 번역분석
GHCP harness를 통해 Qwen 27B를 최고 성능과 최고의 품질로 구동하는 상세 가이드
본 가이드는 Copilot harness의 BYOK 모드를 활용하여 Qwen 27B 모델을 높은 성능과 품질로 구동하는 상세한 방법을 제공합니다. 수백 시간 테스트와 에어갭 환경 사용 경험을 바탕으로, 낮은 VRAM에서도 안정적이며 도구 호출 문제가 없는 최적 설정을 담고 있습니다.
7월 19일1
r/LocalLLaMAAI 번역분석
MiniBot v2 공유, 현재 제가 사용하고 있는 버전입니다. 큰 업데이트를 했으니 공유합니다.
MiniBot v2의 업데이트 버전을 공유하며, 이 도구가 사용자에게 매우 적합한 맞춤형 솔루션임을 강조하고 있습니다. 사용자가 자신만의 방식으로 작동하는 최신 버전의 기능을 소개합니다.
7월 18일1
r/LocalLLaMAAI 번역분석
PCIe 대역폭은 중요하지 않다 (벤치마크)
본 기사는 GPU와 칩셋 연결 방식별 성능을 비교한 벤치마크 결과를 공유합니다. PCIe4.0x16, Thunderbolt 3, M.2 등 다양한 인터페이스를 통해 RTX3090에 LLM 추론 작업을 수행했으며, 전반적으로 대역폭 차이가 성능에 미치는 영향은 크지 않음을 보여줍니다.
7월 18일1
r/LocalLLaMAAI 번역분석
LLM 호출 시 캐시 무효화(cache invalidation)를 감지하는 간단한 도구
LLM 호출 시 캐시 무효화(cache invalidation)를 감지하는 'cache-hunter'라는 간단한 도구를 소개합니다. 이 도구는 로컬 LLM 환경에서 발생하는 프리필 비용의 원인 중 하나인 캐시 무효화 문제를 진단할 수 있게 돕습니다. 메시지 순서, 시스템 프롬프트, 도구 등 작은 변화만으로도 캐시가 무효화되는 현상을 시각적으로 보여줍니다.
7월 18일1
r/LocalLLaMAAI 번역분석
단일 Mac Studio (96GB)에서 Qwen3.5 122b 세션 군집 구동하기
Mac Studio의 메모리 제약 조건 하에서 Qwen3.5 122b와 같은 대규모 모델을 구동하는 최적화 기법을 소개합니다. Gated DeltaNet KV 캐시의 부분 저장 및 개선된 제거 전략 구현을 통해, 온디스크 KV 캐시 활용도를 극대화하여 프리필 컴퓨팅 부하를 크게 줄였습니다. 이를 통해 단일 Mac Studio에서 병렬성 없이도 여러 세션의 동시성을 성공적으로 달성할 수 있게 되었습니다.
7월 18일1
r/LocalLLaMAAI 번역분석
OpenHire – AI 에이전트를 위한 채용 검색; 이력서는 서버에 전송되지 않습니다
OpenHire는 기존 채용 시장의 문제점(유령 공고, 이력서 블랙홀)을 해결하기 위해 개발된 AI 에이전트 기반 채용 검색 도구입니다. 96개 회사의 자체 ATS API에서 실시간으로 약 11,800개의 공고를 직접 색인화하여 제공합니다.
7월 18일1
r/LocalLLaMAAI 번역분석
무료 Oracle ARM 박스에서 7B MoE 모델을 초당 약 25 토큰으로 구동하는 라이브 데모 (llama.cpp 기반 CPU 서버)
llama.cpp를 활용하여 Oracle Always-Free ARM 박스에서 7B MoE 모델을 CPU 기반으로 구동하는 실시간 데모 서버가 소개되었습니다. 이 서버는 활성 파라미터가 적은 MoE 구조 덕분에, 일반적인 9B 밀집 모델보다 훨씬 빠른 속도(초당 약 25 토큰)로 고품질 출력을 제공합니다. 이 시스템은 무료 호스팅 스택과 자동 튜닝 기능을 갖추고 있으며, 반복적이고 좁은 작업에 최적화되어 있습니다.
7월 18일0
r/LocalLLaMAAI 번역분석
Gemma4-31b가 Qwen3.6-27b보다 나은 이유
작성자는 기존 27b 모델을 주력 코딩 에이전트로 사용했을 때 발생하는 비효율적인 반복 작업과 진전 부족에 좌절감을 느꼈습니다. 이에 Gemma4-31b를 메인 코딩 에이전트로, 27b를 QA/리뷰어 에이전트로 활용하는 워크플로우로 전환한 결과, 프로젝트의 버그 해결 및 프로토타입 구축 속도가 크게 향상되었다고 경험을 공유했습니다.
7월 17일1