Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
RedditAI 번역요약
$300 노트북에서 Qwen 3.5 35B 모델로 10.33 t/s 추론하기
저사양 $300 노트북 환경에서 Qwen 3.5 35B 모델을 활용해 10.33 t/s의 추론 속도를 달성한 최적화 프로젝트를 소개합니다. CPU/RAM 기반의 순수 추론 환경에서 성능을 극대화하기 위한 다양한 하드웨어 및 소프트웨어 설정 방법을 다룹니다.
5월 27일2
RedditAI 번역요약
홈 리눅스 사용자를 위한 소규모 로컬 MCP 서버 설치 도구 모음
리눅스 사용자가 로컬에서 MCP(Model Context Protocol) 서버를 쉽게 설치하고 실행할 수 있도록 돕는 오픈 소스 Bash 스크립트 번들을 소개합니다. 웹 검색, 파일 관리, 메모리 등 6가지 유용한 도구를 포함하며, 복잡한 수동 설정 없이 홈랩 환경에서 MCP를 실험할 수 있게 설계되었습니다.
5월 27일1
RedditAI 번역요약
AI를 루프에 빠뜨리는 트라우마를 멈추고, 친절하게 대해 환각을 정직한 "모르겠습니다!"로 바꾸는 방법 (개념 증명, 연구, 판매 목적 아님)
고압적인 프롬프트가 AI 모델의 추론 루프와 환각을 유발한다는 가설을 검증한 연구입니다. '부드러운 양육' 방식의 프롬프팅을 통해 모델의 인지적 결빙을 방지하고, 모르는 것을 정직하게 말하게 하여 응답 속도와 정확도를 개선했습니다.
5월 27일1
RedditAI 번역요약
Harbor v0.4.19 - vllm/sglang/llama.cpp 출시 (codex/claude/pi/opencode)
Harbor v0.4.19 업데이트를 통해 vllm, sglang, llama.cpp와 같은 로컬 추론 백엔드를 사용하여 에이전트 코딩 도구를 실행할 수 있습니다. 최적화된 LLM 게이트웨이를 통해 웹 검색 도구를 자동으로 주입하고 프록시하는 기능을 제공합니다.
5월 26일1
RedditAI 번역요약
MacBook에서 실행 시 발생하는 충돌 문제 해결 방법
MacBook 환경에서 Qwen3.6 모델을 활용한 로컬 AI 및 에이전틱 워크플로우 구축 시 발생하는 충돌과 성능 저하 문제를 해결하는 최적화 가이드를 제공합니다. 메모리 제한 설정, 모델 양자화 선택, 실행 도구 선정 등 안정적인 운영을 위한 구체적인 팁을 다룹니다.
5월 26일4
RedditAI 번역요약
WSL/Ubuntu 환경의 llama.cpp 관리를 위한 Windows 앱을 만들었습니다
WSL 환경의 llama.cpp 워크플로우를 GUI로 관리할 수 있는 Windows 데스크톱 앱인 'llama.cpp Console'을 소개합니다. 터미널 작업 없이 빌드, 모델 다운로드, 실행 파라미터 설정 및 모니터링을 직관적으로 수행할 수 있습니다.
5월 26일0
RedditAI 번역요약
Strix Halo 사용자라면, 거절된 PR을 통해 MoE의 PP를 최대 30%까지 향상시킬 수 있습니다.
AMD Strix Halo 사용자를 위해 llama.cpp에서 MoE 모델의 PP(Prompt Processing) 성능을 최대 30% 향상시킬 수 있는 최적화 방법을 소개합니다. 이 방법은 거절된 PR의 코드를 직접 적용하여 낮은 컨텍스트 환경에서 큰 성능 이득을 얻을 수 있습니다.
5월 26일1
RedditAI 번역요약
CUDA: am17an에 의한 빠른 Walsh-Hadamard 변환(FWHT) 추가 · Pull Request #23615 ·
CUDA 환경에서 KV 캐시 양자화 속도를 높이기 위한 Fast Walsh-Hadamard Transform(FWHT) 구현이 추가되었습니다. 이를 통해 prefill 성능은 약 1-2%, text generation 성능은 약 7-9% 향상되는 결과를 보였습니다.
5월 26일4
RedditAI 번역요약
GTX 1060 6GB에서 실행되는 qwen3.6-35b-a3b-mtp
10년 된 구형 Dell 워크스테이션과 GTX 1060 6GB 환경에서 qwen3.6-35B 모델을 LMStudio로 실행하는 데 성공한 사례입니다. GGUF 양자화와 CPU/GPU 오프로딩 설정을 통해 실용적인 추론 속도를 확보했습니다.
5월 26일2
RedditAI 번역요약
12x32GB SXM V100 클러스터 업데이트 / 법률 초안 작성을 위한 로컬 AI
V100 GPU 클러스터를 활용하여 법률 초안 작성을 위한 로컬 AI 환경을 구축한 사례입니다. vLLM 대신 llama.cpp를 사용하여 MoE 모델의 효율성을 극대화했으며, Dense 모델보다 MoE 모델이 실질적인 추론 속도 면에서 유리함을 입증했습니다.
5월 25일1
RedditAI 번역요약
Pangram 데이터셋으로 미세 조정(Fine-tuned)된 Qwen 0.8B 기반 AI 콘텐츠 탐지기
Pangram의 EditLens 데이터셋을 활용하여 Qwen 3.5 0.8B 모델을 미세 조정해 AI 생성 콘텐츠 탐지기를 개발했습니다. 이 모델은 Chrome 확장 프로그램 'Slop Hammer'를 통해 로컬 환경에서 텍스트의 AI 생성 확률 분포를 즉시 확인할 수 있습니다.
5월 25일1
RedditAI 번역요약
프레임워크 오버헤드를 우회하기 위해 Orange Pi AIPro (Ascend 310B)에서 MiniCPM-V 4.6을 위한 커스텀 C++
Orange Pi AIPro(Ascend 310B) 환경에서 MiniCPM-V 4.6을 구동하기 위해 프레임워크 오버헤드를 제거한 커스텀 C++ 추론 엔진을 개발했습니다. AscendC 커널 최적화를 통해 기존 베이스라인 대비 추론 속도를 약 2배 향상시켰습니다.
5월 25일1
RedditAI 번역요약
hipEngine: RDNA3(Strix Halo, 7900 XTX)를 위한 빠른 네이티브 Qwen 3.6 추론
RDNA3 아키텍처(7900 XTX 등)를 위해 최적화된 새로운 오픈 소스 ROCm 네이티브 LLM 추론 엔진인 hipEngine을 소개합니다. HIP/C++ 기반의 핫 패스와 AMD 네이티브 라이브러리를 활용하여 Qwen 3.6 모델에서 llama.cpp를 상회하는 프리필 성능을 보여줍니다.
5월 25일1
RedditAI 번역요약
llama-server의 WebUI 내에서 llama.cpp 네이티브 도구를 사용하여 웹 RAG(web_fetch 등)를 수행하는 방법
llama.cpp의 llama-server에 추가된 네이티브 도구 기능을 활용하여 웹 RAG를 구현하는 방법을 설명합니다. firejail과 smolmachines를 이용한 다중 샌드박싱 환경을 구축하여 exec_shell_command를 안전하게 실행하는 워크플로우를 제안합니다.
5월 24일0
RedditAI 번역요약
ROCm 기반 MLX LLM 엔진의 새로운 출시 - lemon-mlx-engine
lemon-mlx-engine에 ROCm 7.13 통합이 완료되어 로컬 하드웨어에서 최신 ROCm을 사용할 수 있습니다. Qwen3 및 3.5/3.6 MoE 모델 관련 버그와 커널 수정 사항이 포함되었습니다.
5월 24일1
RedditAI 번역요약
GPU 없이 PC에서 Chrome의 초소형 Gemma4 (aka Gemini Nano)를 직접 실행하는 방법
Google Chrome 환경에서 GPU 없이 Gemma4(Gemini Nano) 모델을 로컬로 실행할 수 있는 Chrome 확장 프로그램을 소개합니다. 별도의 복잡한 설정 없이 16GB RAM과 Chrome만 있으면 초당 약 20토큰의 속도로 모델을 사용할 수 있습니다.
5월 24일1
RedditAI 번역요약
llampart 1.0.0 - 번역, 확장된 설정 및 다듬어진 대화 사이드바를 갖춘 llama-server용 독립형 로컬 웹 UI를 출시했습니다
llama-server를 위한 독립형 로컬 웹 UI인 llampart 1.0.0이 출시되었습니다. llama.cpp 생태계를 기반으로 하며, 사용자 편의성을 높인 데스크톱 스타일의 인터페이스와 확장된 설정 기능을 제공합니다.
5월 24일1
RedditAI 번역요약
커스텀 Xiaomi 12 Pro 24/7 서버에서의 Llama.cpp vs LiteRT 비교 (V2 재설계)
Xiaomi 12 Pro 스마트폰을 활용하여 24/7 로컬 LLM 서버를 구축하는 DIY 프로젝트의 재설계 과정을 다룹니다. 냉각 시스템과 전원 공급 장치를 커스텀 제작하였으며, Llama.cpp를 이용한 Gemma-4 모델의 성능 벤치마크 결과를 공유합니다.
5월 23일1
RedditAI 번역요약
llama.cpp용 Gemma4 31B를 위한 실험적인 "사고 과정 보존(Preserve Thinking)" Jinja 템플릿
llama.cpp 환경에서 Gemma4 31B 모델의 사고 과정(thinking process)을 안정적으로 유지하기 위한 실험적인 Jinja 템플릿을 소개합니다. 이 템플릿은 멀티턴 도구 호출 시 발생하는 사고 태그 누락이나 조기 종료 문제를 해결하는 데 중점을 둡니다.
5월 23일2
RedditAI 번역요약
LlamaStation v0.9 — 멀티 백엔드 지원, TurboQuant, MTP 등을 포함한 Windows용 llama.cpp GUI
LlamaStation v0.9은 llama.cpp를 기반으로 한 Windows용 GUI 도구로, 명령줄 입력 없이도 모든 파라미터를 정밀하게 제어할 수 있습니다. TurboQuant와 MTP를 지원하여 긴 컨텍스트에서도 높은 성능을 유지하며, 멀티 백엔드와 음성 모드 등 다양한 기능을 제공합니다.
5월 23일6