Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
r/LocalLLaMAAI 번역분석
ContextForge: 장기 실행 시에도 실제로 잘 버티는 장기 기억을 위한 로컬 SDK
ContextForge는 LLM의 장기 기억 문제를 해결하기 위해 설계된 로컬 SDK입니다. 벡터 DB 대신 SQLite와 경량 인덱스를 사용하여 매 단계마다 최소한의 작업 세트를 재구성함으로써, 장기 실행 시에도 안정적이고 일관된 컨텍스트를 제공합니다.
6월 27일1
r/LocalLLaMAAI 번역분석
추론을 위해 저가형 빌드를 멀티 GPU로 업그레이드했습니다
저가형 중고 부품을 활용하여 멀티 GPU 추론 환경을 구축하고 성능을 테스트했습니다. Vulkan 백엔드를 통한 이기종 GPU 혼합 사용을 시도했으나, CUDA 대비 심각한 메모리 오버헤드와 성능 저하를 확인했습니다.
6월 27일1
r/LocalLLaMAAI 번역분석
안녕하세요! (다시 왔습니다) 여러분의 프로젝트에서 사용할 수 있도록 제가 만든 kokoro 개선 사항들을 포팅했습니다.
kokoro 모델의 음성 컨트롤 기능을 개선하여 웹 및 파이썬 기반 버전으로 공개했습니다. WebGPU를 활용한 하드웨어 가속을 통해 클라이언트 측에서 매우 빠른 속도로 동작합니다.
6월 26일1
r/LocalLLaMAAI 번역분석
무엇을 해야 할까요? - 사후 학습 (Post-training) 고려하기
단순한 벤치마크 수행을 넘어 실질적인 가치를 창출하는 사후 학습(Post-training)의 중요성을 강조합니다. 데이터 합성, 모델별 특성 이해, 빠른 반복을 위한 엔지니어링 스택 구축이 핵심임을 설명합니다.
6월 26일1
r/LocalLLaMAAI 번역분석
4B 로컬 모델로 실질적인 작업 수행하기: 온디바이스 '메모리' 어시스턴트를 위한 유휴 상태 증류 (distill-on-idle) 파이프라인
4B 규모의 소형 모델을 활용하여 온디바이스에서 화면 캡처와 회의록을 처리하는 메모리 어시스턴트 구축 과정을 공유합니다. 유휴 상태 증류(distill-on-idle) 파이프라인과 하이브리드 검색 방식을 통해 배터리 소모를 최소화하며 효율적인 로컬 AI 환경을 구현했습니다.
6월 26일1
r/LocalLLaMAAI 번역분석
Fable-5 코딩 트레이스로 LiquidAI의 LFM2.5-230M을 파인튜닝하여 GGUF로 배포
Fable-5 코딩 트레이스를 활용해 LiquidAI의 LFM2.5-230M 모델을 파인튜닝하여 배포했습니다. 이 모델은 230M 파라미터 규모의 초소형 코딩 에이전트이며, GGUF 형식으로 제공되어 로컬 환경에서 실행이 가능합니다.
6월 26일1
r/LocalLLaMAAI 번역분석
8GB, 16GB, 24GB, 48GB RAM에 실제로 들어가는 모델은 무엇인가
RAM 용량별로 실행 가능한 최적의 LLM 모델과 양자화(Quantization) 수준을 분석합니다. Q4 양자화가 성능과 효율성 사이의 가장 적절한 지점임을 강조하며, 하드웨어 사양에 따른 모델 선택 가이드를 제공합니다.
6월 26일1
r/LocalLLaMAAI 번역분석
Ollama vs llama.cpp 백엔드 테스트 | 1x Jetson Orin Nano Super에서 8개 모델 벤치마크
Jetson Orin Nano Super 환경에서 8개의 초소형 LLM을 대상으로 Ollama와 llama.cpp의 추론 성능을 비교 분석했습니다. 테스트 결과, 1B 미만 모델에서는 llama.cpp가 Ollama보다 처리량과 전력 효율 면에서 유의미하게 우수한 성능을 보였습니다.
6월 26일0
r/LocalLLaMAAI 번역분석
Ornith 1.0 - 용어 및 개념 설명 (기초)
오픈 소스 모델 실행 시 필수적인 Dense와 MoE의 차이, 모델 포맷(safetensors, GGUF), 그리고 정밀도(BF16, FP8, 양자화)의 개념을 설명하는 기초 가이드입니다.
6월 26일0
r/LocalLLaMAAI 번역분석
매 단계마다 지켜볼 필요 없이 AI 코딩 에이전트를 실행할 수 있는 오픈 소스 로컬 퍼스트(Local-first) 칸반(Kanban)
AI 코딩 에이전트의 느린 워크플로우를 개선하기 위해 개발된 로컬 퍼스트 칸반 앱 BatonBot을 소개합니다. 사용자가 작업을 설정하면 에이전트가 자율적으로 수행하며, 진행 상황을 칸반 보드에서 시각적으로 추적할 수 있습니다.
6월 25일1
r/LocalLLaMAAI 번역분석
audio.cpp: 1개의 C++/ggml 런타임에서 구동되는 12개의 오디오 모델 (Qwen3-TTS, PocketTTS, Vevo2 등)
ggml 기반의 네이티브 C++ 오디오 추론 프레임워크인 audio.cpp를 소개합니다. Qwen3-TTS, Vevo2 등 12개의 모델을 단일 런타임에서 구동하며, Python 대비 압도적인 추론 속도와 효율적인 워크플로우 공유를 목표로 합니다.
6월 25일1
r/LocalLLaMAAI 번역분석
하네스 불가지론적(harness-agnostic) 오케스트레이션 라이브러리에서 에이전트별 격리 및 환경 라이프사이클을 처리하는 방법
에이전트 오케스트레이션 라이브러리 설계 시 에이전트별 격리 및 환경 라이프사이클을 관리하는 아키텍처를 다룹니다. 워크스페이스와 런타임을 추상화하여 프로비저닝부터 은퇴까지의 상태를 정의하고 관리하는 방법을 제시합니다.
6월 25일1
r/LocalLLaMAAI 번역분석
커스텀 WebGPU 커널을 사용하여 브라우저에서 1,400 tok/s로 실행되는 LFM2.5 230M
커스텀 WebGPU 커널을 활용하여 브라우저 환경에서 LFM2.5-230M 모델을 로컬로 실행하는 기술을 소개합니다. M4 Max 환경에서 초당 1,400 토큰의 빠른 추론 속도를 구현했습니다.
6월 25일1
r/LocalLLaMAAI 번역분석
로컬 LLM에 사실적 정보를 제공하기 위한 빠른 의료 RAG API
로컬 LLM의 환각 현상을 방지하기 위해 의료 위키피디아 데이터를 활용한 빠른 RAG API를 개발했습니다. MCP를 지원하며, 에이전트가 의료적 사실을 정확히 확인하도록 돕는 데 유용합니다.
6월 25일1
r/LocalLLaMAAI 번역분석
언어 모델 REPL을 작성하는 데 Bash만 있으면 된다는 사실이 밝혀졌습니다 (jq 및 curl 포함)
Bash, jq, curl 등 표준 명령줄 도구만을 사용하여 의존성 없이 구축한 언어 모델 REPL 및 에이전트 루프 구현 사례를 소개합니다. Unix 철학을 바탕으로 모델 간 이식성이 높고 상태 관리가 투명한 에이전트 환경을 구축할 수 있습니다.
6월 25일1
r/LocalLLaMAAI 번역분석
아들의 시험 준비를 위해 로컬 AI 앱을 만들었는데, Mac용 개인용 ChatGPT/Gemini가 되었습니다
개인정보 보호를 위해 모든 데이터가 기기 내에서만 처리되는 macOS용 로컬 AI 앱 'Ka1zen'을 소개합니다. llama.cpp와 MLX를 기반으로 채팅, 비전, 이미지 생성, 웹 검색, RAG 기능을 하나의 네이티브 앱으로 통합했습니다.
6월 25일1
r/LocalLLaMAAI 번역분석
llama-server 및 OpenAI 호환 API를 위한 경량 Web UI [llampart]
llampart는 llama-server 및 OpenAI 호환 API를 지원하는 경량 로컬 LLM용 Web UI 프로젝트입니다. 데스크톱 중심의 설계로 빠르고 쾌적한 사용성을 제공하며, 다양한 백엔드 연결과 다국어 및 테마 지원을 특징으로 합니다.
6월 24일1
r/LocalLLaMAAI 번역분석
4× DGX Spark (GB10)에서 GLM-5.2 + MTP Speculative Decode 구동 성공 — 그리고 공개 레시피에서 누락된
4× DGX Spark (GB10) 환경에서 GLM-5.2 모델을 MTP 추측적 디코딩과 sparse-MLA Triton 커널을 사용하여 성공적으로 구동한 기술 사례입니다. 공개되지 않은 빌드 레시피를 커널 재구성을 통해 복원하고, vLLM 버전 고정 및 AWQ 가중치 충돌 문제를 해결하는 구체적인 가이드를 제공합니다.
6월 24일1
r/LocalLLaMAAI 번역분석
WebGPU를 사용하여 브라우저에서 로컬로 실행되는 오픈 소스 SDXL
WebGPU를 활용하여 브라우저 확장 프로그램 형태로 로컬에서 SDXL 모델을 실행할 수 있는 오픈 소스 프로젝트를 소개합니다. 별도의 가상 환경이나 복잡한 설치 과정 없이 브라우저 내에서 ONNX 그래프를 통해 이미지를 생성할 수 있습니다.
6월 24일0
r/LocalLLaMAAI 번역분석
모델 해킹을 통해 GH200 시스템에서 GLM5.2의 속도를 약 2.5 tok/s에서 50 tok/s 이상으로 끌어올렸습니다
GH200 시스템에서 GLM5.2 모델의 추론 속도를 2.5 tok/s에서 최대 55 tok/s로 대폭 향상시킨 최적화 사례를 소개합니다. MTP 헤드 이식과 vLLM 패치를 통해 메모리 스트리밍 효율을 극대화했습니다.
6월 24일1