Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
r/LocalLLaMAAI 번역분석
모든 로컬 AI를 위한 사이트를 구축했습니다
로컬 AI 추론 벤치마크와 모델 성능 데이터를 통합 관리하는 플랫폼 'localmaxxing'이 출시되었습니다. 다양한 하드웨어와 모델 버전에 대한 실행 기록을 제공하며, 향후 맞춤형 평가 시스템과 하드웨어 마켓플레이스 기능을 확장할 계획입니다.
7월 22일0
r/LocalLLaMAAI 번역분석
MoE의 VRAM 디스크 캐시를 통해 단일 DGX Spark에서 Kimi 2.7 모델로 340 pp/s, 9.6 tg/s 달성
llama.cpp를 활용하여 MoE 모델의 전문가(experts)를 디스크 대신 VRAM 캐시로 관리하는 최적화 전략을 소개합니다. 이를 통해 DGX Spark 환경에서 Kimi 2.7 모델로 높은 추론 성능을 달성하는 벤치마크 결과를 제시합니다.
7월 22일0
r/LocalLLaMAAI 번역분석
Laguna-S-2.1에서 <thinking> 강제하기
Laguna-S-2.1 모델이 중간 난이도 질문에서 사고 과정을 생략하는 문제를 해결하기 위해 채팅 템플릿을 수정하는 방법을 제안합니다. <think> 태그 뒤에 줄바꿈을 추가함으로써 모델이 추론 과정을 강제하도록 유도할 수 있습니다.
7월 22일0
r/LocalLLaMAAI 번역분석
Laguna S 2.1을 위한 툴박스 제작 과정의 AI 요약
AMD Strix Halo 환경에서 Laguna S 2.1 모델 테스트를 위해 llama.cpp 포크를 컨테이너 기반으로 빌드하는 과정을 다룹니다. ROCm/HIP 설정, 의존성 패키지 해결, 소스 코드 수정 및 벤치마크 실행 중 발생한 오류와 해결 방안을 기술합니다.
7월 22일0
r/LocalLLaMAAI 번역분석
M4 Max에서 GPT-2를 학습시키기 위해 Mojo로 Metal GPU 커널을 직접 작성했습니다: PyTorch MPS보다 1.71배
Mojo를 사용하여 Apple Silicon M4 Max 환경에서 GPT-2를 학습할 수 있는 Metal GPU 커널을 직접 구현했습니다. PyTorch MPS 대비 최대 1.71배의 성능 향상을 달성했으나, Apple의 MLX 프레임워크에는 미치지 못하는 결과를 보였습니다.
7월 22일0
r/LocalLLaMAAI 번역분석
오스트리아, Mistral 모델과 Open WebUI를 사용하는 정부 AI 플랫폼 출시
오스트리아 정부가 Mistral 오픈 웨이트 모델과 Open WebUI를 활용한 공공 AI 플랫폼 'GovGPT'를 출시했습니다. 약 18만 명의 공무원을 대상으로 문서 채팅, 지식 베이스 구축, 에이전틱 워크플로우 등의 기능을 제공할 예정입니다.
7월 22일0
r/LocalLLaMAAI 번역분석
Felix Rieseberg (Anthropic, ElectronJS)가 사람들이 처음부터 자신만의 LLM을 구축할 수 있도록 설계된 무료
Felix Rieseberg가 개발한 'Language Model Builder'는 사용자가 직접 LLM을 구축할 수 있도록 돕는 무료 도구입니다. 기본 설정을 통해 단 하루 만에 문법적으로 올바른 텍스트를 생성하는 모델을 학습시킬 수 있습니다.
7월 22일0
r/LocalLLaMAAI 번역분석
번역 모델이 번역 대신 문제를 풀기 시작할 때 (짧은 불평)
번역 작업 중 모델이 페이로드 내의 지시 사항을 실행하여 번역 대신 문제를 풀어버리는 현상을 다룹니다. 지시 사항(instruction)과 데이터(payload) 사이의 경계가 무너질 때 발생하는 프롬프트 인젝션 문제를 경고합니다.
7월 22일0
r/LocalLLaMAAI 번역분석
그래프 DB 없이 지식 그래프(Knowledge Graph)를 구축한 방법 (GraphRAG보다 1000배 저렴함)
GraphRAG의 높은 인덱싱 비용과 복잡성을 해결하기 위해 별도의 그래프 DB 없이 일반 DB와 검색 인덱스만으로 지식 그래프를 구축하는 실용적인 방법을 제안합니다. 엔티티와 엣지를 일반 레코드로 관리하여 비용을 획기적으로 낮추고 운영 효율성을 높이는 접근법을 다룹니다.
7월 21일0
r/LocalLLaMAAI 번역분석
pi 0.81.0, llama.cpp 지원 추가
pi 0.81.0 버전에서 llama.cpp(llama-server router)에 대한 통합 지원이 추가되었습니다. 이를 통해 기존의 huggingface/pi-llama 확장 기능이나 수동 모델 관리 작업을 대체할 수 있습니다.
7월 21일0
r/LocalLLaMAAI 번역분석
1x/2x RTX 5090에서 Unsloth의 Qwen3.6-27B NVFP4 벤치마크 수행: MTP는 매우 훌륭하지만 한계가 있습니다.
Unsloth의 Qwen3.6-27B NVFP4 모델을 RTX 5090 환경에서 벤치마크한 결과입니다. MTP(Multi-Token Prediction) 설정 시 단일 사용자 환경에서는 속도가 크게 향상되지만, 배치 작업이나 긴 컨텍스트에서는 성능 저하가 발생할 수 있음을 확인했습니다.
7월 21일0
r/LocalLLaMAAI 번역분석
토렌트(Torrents)가 도착했습니다
LLM 배포를 탈중앙화하고 가속화하기 위해 토렌트 기술을 활용하는 llama.garden 프로젝트를 소개합니다. HTTP 웹 시드와 캐싱 API를 통해 다운로드 속도를 최적화하며, 모델의 무결성을 검증할 수 있는 구조를 제공합니다.
7월 21일0
r/LocalLLaMAAI 번역분석
GGUF 기반 LoRA: 16G VRAM에서 Qwen3.6-35B-A3B 학습하기
GGUF 포맷을 활용하여 16GB VRAM 환경에서 Qwen3.6-35B-A3B 모델을 LoRA로 학습하는 방법을 소개합니다. APEX 양자화와 전용 커널을 통해 CPU 오프로딩 없이 효율적인 학습이 가능함을 보여줍니다.
7월 21일0
r/LocalLLaMAAI 번역분석
학습 파이프라인 최적화를 통해 36 steps/minute에서 47 steps/minute로 개선하며 얻은 교훈
디스크 저장 방식 최적화를 통해 ML 모델 학습 파이프라인의 속도를 약 30% 개선한 사례를 공유합니다. 작은 파일들을 TAR나 WebDataset 같은 블롭(blobs) 형태로 묶어 순차적 읽기를 유도함으로써 HDD의 성능 한계를 극복하는 방법을 다룹니다.
7월 21일0
r/LocalLLaMAAI 번역분석
vLLM 및 SGLang 환경에서 Qwen3.6-27B 모델을 대상으로 한 모든 Speculative Decoding (Spec-decode)
vLLM과 SGLang 환경에서 Qwen3.6-27B 모델을 대상으로 다양한 Speculative Decoding 기법의 성능을 비교 분석했습니다. 실험 결과 DFlash 방식이 가장 압도적인 속도 향상을 보였으며, EAGLE3와 MTP 등 각 기법별 특이점을 확인했습니다.
7월 21일0
r/LocalLLaMAAI 번역분석
2x5060 Ti 환경에서 vLLM을 이용한 nvfp4 KV-cache 구현
2x5060 Ti 환경에서 vLLM을 사용하여 nvfp4 데이터 타입을 활용한 KV-cache 구현 사례를 소개합니다. 특정 모델과 환경 설정을 통해 메모리 효율을 높이고 추론 성능을 최적화하는 구체적인 실행 구성을 다룹니다.
7월 20일0
r/LocalLLaMAAI 번역분석
Metal 환경에서 삼진 모델(Ternary Model)인 Bonsai 8b를 파인튜닝(Fine-tuning)해 보았습니다
PrismML의 Bonsai 8B와 같은 진정한 sub-2-bit 삼진(Ternary) 모델을 Metal 환경에서 파인튜닝하는 방법을 다룹니다. 기존 양자화 방식과 달리 네이티브 삼진 모델의 특성을 이해하고, Straight-through estimator를 활용한 양자화 인식 학습(QAT) 과정을 설명합니다.
7월 20일0
r/LocalLLaMAAI 번역분석
llama.cpp에서의 OSCAR2 - 나의 최신 프로젝트
llama.cpp 환경에서 OSCAR2 KV Cache 기술의 성능을 벤치마크한 결과입니다. NVIDIA RTX 5090 하드웨어를 사용하여 Qwen3 모델 시리즈의 생성 속도를 테스트했습니다.
7월 20일0
r/LocalLLaMAAI 번역분석
Dual 3090 Gemma 4 31B QAT: MTP를 사용하지 않을 때보다 MTP 사용 시 성능 저하
Dual 3090 환경에서 Gemma 4 31B 모델을 구동할 때, MTP(Multi-Token Prediction) 사용 시 오히려 TPS가 저하되는 현상을 분석합니다. 단일 3090 환경과 달리 텐서 병렬화 환경에서는 MTP 적용 시 성능이 불안정해지는 특이점을 보고합니다.
7월 20일0
r/LocalLLaMAAI 번역분석
BeeLlama.cpp v0.4.0: KVarN, KV 정밀도 테일(precision tail), q2_0-q3_1 KV 캐시, 업스트림
llama.cpp의 포크 버전인 BeeLlama v0.4.0이 출시되었습니다. KVarN 양자화와 KV 캐시 정밀도 테일(Precision Tail) 기술을 통해 VRAM 사용량을 최소화하면서도 모델의 추론 정밀도를 크게 개선했습니다.
7월 20일0