오늘의 트렌드
최근 24시간최근 글과 출처가 충분히 쌓이면 근거를 확인한 코멘트를 표시합니다.
Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
r/LocalLLaMAAI 번역분석
Tyger: 오픈 웨이트 스트리밍 ASR 및 풀 듀플렉스 턴 제어 통합 모델
Tyger는 풀 듀플렉스(full-duplex) 턴 제어를 처리하는 경량 음성 에이전트 모델입니다. NVIDIA Nemotron ASR 스트리밍과 GRU를 결합하여, 사용자의 발화 종료 시점부터 첫 오디오 출력까지 약 0.7초의 답변 시간을 보여줍니다. 이 스택은 도구 호출 및 최대 4개의 동시 대화를 지원하며, 로컬 환경에서 실행 가능합니다.
10월 16일1
r/LocalLLaMA분석
당신의 장비를 보여주세요
본문은 사용자가 AI 시스템에 접근할 때 안전과 보안을 위해 '봇'이 아님을 증명하는 챌린지를 요구하고 있습니다. 이는 서비스의 안정성과 신뢰성을 확보하기 위한 일반적인 사용자 인증 절차를 안내합니다.
10월 16일2
r/LocalLLaMAAI 번역분석
audio.cpp의 Drama3 지원: 최고 속도에서 실시간보다 최대 5배 빠르며, RTX 5090의 VRAM 8GB 미만에서도 실시간 속도의
audio.cpp에 Drama3 지원이 추가되었으며, 이는 Vulkan과 Metal에서도 실행 가능합니다. 이 모델은 RTX 5090의 VRAM 8GB 미만에서도 실시간 속도 수준의 성능을 보여줍니다. 다만, 현재는 성능 최적화와 정확도 개선을 위한 반복 작업이 필요하며, 기여를 환영하고 있습니다.
10월 16일1
r/LocalLLaMAAI 번역분석
£300의 35W Snapdragon 미니 PC로 실제로 할 수 있는 작업: ~30 tok/s의 35B 코더와 RAM에 맞지 않는 80B
300파운드대 Snapdragon 미니 PC를 활용하여 로컬 LLM 구동 성능을 테스트한 결과, CPU와 RAM 용량의 한계 속에서도 35B 모델 구동이 가능함을 입증했습니다. 특히 Janas라는 커스텀 프로그램을 사용했을 때 MTP(Memory-to-Processor) 환경에서 뛰어난 효율성을 보였으며, 이는 저사양 ARM 장치에서의 LLM 활용 가능성을 높게 시사합니다.
10월 15일0
r/LocalLLaMAAI 번역분석
Strata가 지능에 실제로 해로운가? 아니면 Swift와 GSQ-RCO인가? 혹은 둘 다인가?
사용자는 Strata, Swift 등 고속 모델들이 속도를 위해 지능을 희생한다고 주장하며, 27B Q4와 같은 대형 모델이 더 나은 결과를 제공한다고 분석했습니다. 테스트 결과에 따르면, 빠른 코딩 파트너가 필요할 때는 Next flash strata를 사용하고, 최고의 정확도가 필요하며 시간이 충분할 때는 27B Q4 모델을 사용하는 것이 좋다고 결론지었습니다.
10월 15일0
r/LocalLLaMAAI 번역분석
Microsoft의 137B A6.8B 모델?
Microsoft AI가 코딩에 특화된 MoE 모델인 MAI Code 1.1 Flash의 로컬 버전을 개발했습니다. 이 모델은 총 1370억 개의 파라미터와 68억 개의 활성 파라미터를 갖추고 있어, 사용자가 로컬 환경에서 AI 코딩 기능을 활용할 수 있게 합니다.
10월 15일1
r/LocalLLaMAAI 번역분석
Strata 성능 미세 조정 (finetuning) - 직접 테스트해보세요
본 기사는 Strata라는 도구의 성능을 극대화하기 위한 다양한 파라미터 튜닝 방법을 상세히 다룹니다. --pcie-frac, --pool-workers, --trim-stage-weights 등 여러 설정을 조정하여 디코드 속도와 전반적인 추론 성능을 크게 향상시킬 수 있습니다. 특히 멀티 GPU 환경에서 PCIe 레인 순서에 따른 GPU 할당 최적화가 큰 성능 개선 효과를 가져왔습니다.
10월 15일2
r/LocalLLaMAAI 번역분석
자체 GPU에서 GPT 이미지 스타일 사진 편집: Qwen-Image 2.1을 위한 제로 설정 앱 구축
Kokon은 Qwen-Image 2.1을 로컬 환경에서 쉽게 사용할 수 있도록 설계된 무료 오픈 소스 데스크톱 앱입니다. 복잡한 양자화, 오프로딩 설정을 자동으로 처리하며, 일반적인 사진 편집기 기능을 제공하여 사용자가 직관적으로 이미지 편집 작업을 수행할 수 있게 합니다.
10월 15일1
r/LocalLLaMAAI 번역분석
실시간 응답 중 모델 레이어를 GPU 간 이동시키기 (8ms 소요, 재-프리필 없음)
개발자가 개발한 추론 엔진 jitllm은 모델 레이어를 프로세스처럼 취급하여, 하드웨어에 관계없이 GPU 간 실시간으로 이동시키고 배치할 수 있게 합니다. 이 기술은 KV 캐시 페이지화와 결합되어 프롬프트 재처리를 방지하며, 다양한 하드웨어 환경에서 효율적인 추론을 가능하게 합니다.
10월 14일1
r/LocalLLaMAAI 번역분석
Discover AI: AI가 실제로 작동하는 방식을 배우기 위한 51가지 실습 랩 가이드
본 앱은 뉴런부터 에이전트, RAG, 파인튜닝까지 AI의 작동 원리를 51개의 실습 랩으로 제공합니다. 사용자는 기본 개념 학습을 넘어 트랜스포머 모델 실행 및 실시간 훈련 등 실제 동작을 체험할 수 있습니다.
10월 14일1
r/LocalLLaMAAI 번역분석
회사용 4x 6000 Pro 구성
본 글은 40명 규모의 회사 내부 AI 서비스를 구축하는 구체적인 기술 스택과 하드웨어 사양을 설명합니다. n8n, OpenWebUI 등을 활용하여 녹취록 작성, 결정 사항 추출 등 에이전트 워크플로우를 구현하고 있으며, Deepseek V4 Flash와 Qwen 3.8 등의 모델을 vLLM 및 llama.cpp로 구동하는 것이 핵심입니다.
10월 13일1
r/LocalLLaMAAI 번역분석
LocalLLaMa의 조언을 바탕으로 n+2 미리 보기 예측기를 SSD 스트리밍에 구현한 Qwen Flash Next 테스트 결과
Mac Mini m5 환경에서 Qwen Flash Next 모델을 SSD 스트리밍 방식으로 최적화하는 프로젝트를 진행했습니다. LocalLLaMa의 조언에 따라, 현재 레이어보다 n+2 앞 전문가(expert)들을 미리 예측하여 로드하는 '미리 보기 추측기' 기법을 적용한 테스트 결과를 공유합니다.
10월 13일0
r/LocalLLaMAAI 번역분석
두 개의 구형 Android 휴대폰을 클러스터링하여 27B LLM을 로컬에서 실행했습니다. C++ RPC 분할 및 Hadamard
본 글은 OOM 문제를 해결하기 위해 두 개의 Android 휴대폰을 클러스터링하고, 사용자 지정 C++ RPC 엔진을 사용하여 27B LLM을 로컬에서 실행한 방법을 소개합니다. 특히 가중치를 Hadamard 변환된 테르너리 형태로 유지하여 MAC 연산 없이 덧셈/뺄셈만으로 추론하는 혁신적인 접근 방식을 제시했습니다.
10월 13일1
r/LocalLLaMAAI 번역분석
임베딩을 활용한 Windows용 Spotlight 검색 기능
Windows용 Spotlight 검색 기능을 개발했으며, 이 기능은 임베딩 모델과 MoE(Mixture of Experts) 구조를 활용합니다. Qwen 3.5 4B 모델 두 개를 코딩 및 에이전트 작업에 맞게 파인튜닝하여 결합한 것이 특징입니다.
10월 12일2
r/LocalLLaMAAI 번역분석
vLLM을 사용한 6개의 3090 GPU 환경에서 Qwen3.8-Flash-Next 성능 테스트: 사용자 수 및 토큰 처리량 분석
본 보고서는 vLLM을 수정하여 6개의 RTX 3090 GPU 환경에서 Qwen3.8-Flash-Next 모델의 성능을 테스트한 결과를 분석합니다. PLE를 SSD에 배치하고 int8 KV를 사용함으로써 시스템 RAM 절약 및 VRAM 활용도를 높였습니다. 그 결과, vLLM은 Prefill 속도와 단일 사용자 처리량 측면에서 우수하며, 다중 사용자 환경에서는 llama.cpp가 더 안정적인 성능을 제공함을 확인했습니다.
10월 12일2
r/LocalLLaMAAI 번역분석
휴대폰에서 미세 조정된 0.8B 비전 모델을 구동하는 영수증 스캐너 (무료) - 상세 비용 추적
사용자가 영수증 사진을 찍어 품목별 지출 내역을 추적하는 안드로이드 앱을 개발했습니다. Qwen3.5 0.8B와 OvisOCR2 모델을 미세 조정하여 상점, 날짜, 총액 및 상세 품목 정보를 JSON 형식으로 추출합니다. 이 앱은 개인 프로젝트로 시작되었으며 무료로 제공됩니다.
10월 12일1
r/LocalLLaMAAI 번역분석
AMD 7900 XTX에서 Qwen 3.8 Flash-Next를 50만 컨텍스트로 구동해 본 경험
Qwen3.8-Flash-Next 모델을 AMD 환경에서 50만 컨텍스트로 구동한 경험을 공유합니다. 이전 추론 내용을 반복하는 현상은 `preserve_thinking: true` 설정 때문이었으며, 이를 비활성화하여 문제를 해결했습니다. 대용량 컨텍스트에서도 안정적인 성능과 높은 디코드 속도를 확인하며 모델의 잠재력을 입증했습니다.
10월 12일1
r/LocalLLaMAAI 번역분석
이제 당신의 감자 위에서도 보성이를 키울 수 있습니다
GPU 자원 부족 문제를 해결하기 위해 27B급 추론 능력을 유지하면서 모델 크기를 대폭 줄인 트라이너리 변환기 가중치 기반의 언어 모델이 소개되었습니다. 이 모델은 llama.cpp (CUDA, Metal)에서 작동하며, 일반 노트북이나 단일 GPU에서도 높은 성능을 보여줍니다.
10월 11일1
r/LocalLLaMAAI 번역분석
업데이트: 단일 RTX 3090에서 Qwen 3.8 27B를 140 tok/s로 구동 (Megakernel: KL divergence
본 글은 Qwen3.8-27B를 단일 RTX 3090에서 구동하기 위한 CUDA megakernel 엔진을 소개합니다. 이 커스텀 엔진은 기존 llama.cpp 대비 정확도 저하 없이 코드 작성 및 추론 모드 등 전반적인 속도를 1.4~1.9배 향상시켰습니다. 또한, 다양한 컨텍스트 길이와 양자화 모델에 대한 상세한 벤치마크 결과를 제공합니다.
10월 11일1
r/LocalLLaMAAI 번역분석
BC-250 보드 4개 클러스터에서 Next Flash IQ3_XXS 또는 Qwen 3.6 35B 구동 성능 공유
BC-250 보드 클러스터 4개를 활용하여 Next Flash IQ3_XXS 또는 Qwen 3.6 35B와 같은 대규모 언어 모델(LLM)을 구동하는 성능 최적화 경험을 공유합니다. Llama, Vulkan, RPC 등을 사용하여 시스템을 구축하고, Claude Code를 연결해 양자화 및 컨텍스트 길이 유지에 성공했습니다. 전력 소비량과 열 관리를 고려하여 AIO 냉각기 추가 계획도 언급되었습니다.
10월 11일0