오늘의 트렌드
최근 24시간최근 글과 출처가 충분히 쌓이면 근거를 확인한 코멘트를 표시합니다.
Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
r/LocalLLaMAAI 번역분석
Tessera-27B-B-CJK: 새로운 Qwen의 finetune 모델로 토큰 절약에 대한 혁신적인 접근 방식을 제시하다
Tessera-27B-B-CJK는 Qwen3.8-27B 코딩 에이전트를 기반으로, CJK(중국어, 일본어, 한국어)를 압축하여 사고하는 혁신적인 모델입니다. 이 접근 방식은 에이전트 루프 과정에서 필요한 토큰 사용량을 획기적으로 줄여 효율성을 높였습니다. 모델은 약어로 생각하지만, 최종 출력과 도구 호출은 일반 영어와 코드로 유지되어 사용자 시스템과의 호환성이 뛰어납니다.
10월 14일1
r/LocalLLaMAAI 번역분석
Telperion의 새로운 모델: Qwen3.8-27B-MLA 및 Qwen3.8-27B-GLA-g2
Telperion이 Qwen3.8-27B의 잠재 어텐션(latent attention) 변형 모델인 Qwen3.8-27B-MLA 및 Qwen3.8-27B-GLA-g2를 발표했습니다. 이 모델들은 KV 캐시를 최대 4배 압축하여 소비자/서버 하드웨어에서 컨텍스트 크기 또는 동시 처리량을 크게 늘릴 수 있습니다. 또한, 양자화 버전도 높은 충실도를 유지하며 제공됩니다.
10월 14일2
r/LocalLLaMAAI 번역분석
MiniCPM-V 4.7 데모로 본, 휴대폰에서 구동되는 35B 멀티모달 모델의 가능성
OpenBMB가 MiniCPM-V 4.7 데모를 통해 온디바이스(on-device) 멀티모달 모델의 가능성을 제시했습니다. 특히 35B MoE 비전-언어 모델을 모바일 기기에서 구동하는 것이 핵심이며, LES와 같은 최적화 기술로 효율성을 높였습니다.
10월 14일1
r/LocalLLaMAAI 번역분석
Mr.Chatterbox-2.7B-Chat: 빅토리아 시대 텍스트로 처음부터 학습된 모델
Mr.Chatterbox-2.7B-Chat 모델이 빅토리아 시대 텍스트를 사용하여 사전 학습 및 미세 조정되었습니다. 이 프로젝트는 역사적 정확도를 극대화하는 데 초점을 맞추었으며, 관련 문서와 코드는 외부 링크에서 확인할 수 있습니다.
10월 14일2
r/LocalLLaMAAI 번역분석
NVIDIA Nemotron Bolt 3.5 74B A9B, 10월 15일 출시
NVIDIA Nemotron Bolt 3.5 74B A9B 모델이 출시 예정이며, 이 모델은 MoE 구조와 고급 양자화 인식 학습 기술을 결합했습니다. 2-bit 양자화를 통해 24GB에 패킹되어 속도와 지능의 최적 균형을 제공합니다.
10월 14일1
r/LocalLLaMAAI 번역분석
현재 사용 가능한 최고의 로컬 TTS 모델: BreezeBlue-tts-2
현재 사용 가능한 최고의 로컬 TTS 모델로 BreezeBlue-tts-2가 언급되었으나, 비상업적 라이선스라는 제약이 있습니다. 무료 사용 환경에서는 moss tts 1.5가 현재 가장 좋은 대안으로 제시되었습니다.
10월 14일1
r/LocalLLaMAAI 번역분석
AI 경쟁: 중국의 오픈 가중치 모델이 미국 폐쇄형 모델에 7개월 정도 뒤처지다
새로 공개된 오픈 소스 AI 리더보드 whatmodel.sh는 방대한 벤치마크 데이터를 기반으로 모델 성능을 비교합니다. 이 데이터는 독립적인 평가와 연구실 보고 점수를 모두 포함하며, 투명성을 높여 사용자들에게 신뢰할 수 있는 정보를 제공하는 것이 특징입니다.
10월 14일1
r/LocalLLaMAAI 번역분석
실시간 응답 중 모델 레이어를 GPU 간 이동시키기 (8ms 소요, 재-프리필 없음)
개발자가 개발한 추론 엔진 jitllm은 모델 레이어를 프로세스처럼 취급하여, 하드웨어에 관계없이 GPU 간 실시간으로 이동시키고 배치할 수 있게 합니다. 이 기술은 KV 캐시 페이지화와 결합되어 프롬프트 재처리를 방지하며, 다양한 하드웨어 환경에서 효율적인 추론을 가능하게 합니다.
10월 14일1
r/LocalLLaMAAI 번역분석
Discover AI: AI가 실제로 작동하는 방식을 배우기 위한 51가지 실습 랩 가이드
본 앱은 뉴런부터 에이전트, RAG, 파인튜닝까지 AI의 작동 원리를 51개의 실습 랩으로 제공합니다. 사용자는 기본 개념 학습을 넘어 트랜스포머 모델 실행 및 실시간 훈련 등 실제 동작을 체험할 수 있습니다.
10월 14일1
r/LocalLLaMAAI 번역분석
LiquidAI의 LFM2.5-24B-A2B 모델 소개
LiquidAI가 240억 개의 총 파라미터를 가지지만 활성 파라미터는 20억 개만 사용하는 LFM2.5-24B-A2B 모델을 공개했습니다. 이 모델은 온디바이스 환경에서 빠르고 사적인 에이전트 구축에 최적화되었으며, MoE 구조를 통해 높은 효율성과 성능을 자랑합니다.
10월 13일1
r/LocalLLaMAAI 번역분석
회사용 4x 6000 Pro 구성
본 글은 40명 규모의 회사 내부 AI 서비스를 구축하는 구체적인 기술 스택과 하드웨어 사양을 설명합니다. n8n, OpenWebUI 등을 활용하여 녹취록 작성, 결정 사항 추출 등 에이전트 워크플로우를 구현하고 있으며, Deepseek V4 Flash와 Qwen 3.8 등의 모델을 vLLM 및 llama.cpp로 구동하는 것이 핵심입니다.
10월 13일1
r/LocalLLaMAAI 번역분석
LocalLLaMa의 조언을 바탕으로 n+2 미리 보기 예측기를 SSD 스트리밍에 구현한 Qwen Flash Next 테스트 결과
Mac Mini m5 환경에서 Qwen Flash Next 모델을 SSD 스트리밍 방식으로 최적화하는 프로젝트를 진행했습니다. LocalLLaMa의 조언에 따라, 현재 레이어보다 n+2 앞 전문가(expert)들을 미리 예측하여 로드하는 '미리 보기 추측기' 기법을 적용한 테스트 결과를 공유합니다.
10월 13일0
r/LocalLLaMAAI 번역분석
두 개의 구형 Android 휴대폰을 클러스터링하여 27B LLM을 로컬에서 실행했습니다. C++ RPC 분할 및 Hadamard
본 글은 OOM 문제를 해결하기 위해 두 개의 Android 휴대폰을 클러스터링하고, 사용자 지정 C++ RPC 엔진을 사용하여 27B LLM을 로컬에서 실행한 방법을 소개합니다. 특히 가중치를 Hadamard 변환된 테르너리 형태로 유지하여 MAC 연산 없이 덧셈/뺄셈만으로 추론하는 혁신적인 접근 방식을 제시했습니다.
10월 13일1
r/LocalLLaMAAI 번역분석
Qwen 3.8 Flash Next Q3 S - 벤치마크 생성
사용자는 Opencode 환경에서 Qwen 3.8 Flash Next IQ3_S 모델을 테스트하고 그 결과를 공유했습니다. 작은 크기의 모델임에도 불구하고, 약 90 tk/s의 높은 디코딩 속도를 달성하여 인상적인 성능을 보여주었습니다. 특히 구체적이고 단계적인 프롬프팅(계획 요청 -> 구축 요청)이 좋은 결과를 이끌어냈습니다.
10월 13일1
r/LocalLLaMAAI 번역분석
openbmb/MiniCPM-V-4.7-1B 모델 소개
MiniCPM-V 4.7은 1B 변형으로 제공되는 최신 MLLM 모델로, 단일/다중 이미지 및 비디오 이해 기능을 갖추고 있습니다. 이 모델은 효율적인 아키텍처와 온디바이스 배포 지원을 통해 성능과 추론 효율성 모두에서 높은 수준의 '기능 밀도'를 달성했습니다.
10월 12일1
r/LocalLLaMAAI 번역분석
openbmb/MiniCPM-V-4.7-35B-A3B
MiniCPM-V 4.7은 최초의 오픈소스 MoE(Mixture of Experts) 구조를 가진 MLLM 모델로, 온디바이스 추론에 최적화되었습니다. Lookahead Expert Scheduling (LES) 기술과 양자화를 결합하여 성능 저하 없이 iPhone 17 Pro Max에서 높은 디코딩 속도를 달성했습니다. 또한 LLaVA-UHD v4의 압축 기술을 활용해 효율적인 아키텍처를 갖추고 광범위한 플랫폼 지원 및 개발자 친화적 기능을 제공합니다.
10월 12일1
r/LocalLLaMAAI 번역분석
Qwen이 QwenGyre를 공개하다 - 초장기 복잡 과제에 AI 에이전트를 훈련하기 위한 RL 프레임워크
Qwen이 초장기 복잡 과제에 AI 에이전트를 훈련하기 위한 새로운 RL 프레임워크인 QwenGyre를 공개했습니다. 이 프레임워크는 탄성 스케줄러와 궤적 프로세서를 핵심 설계로 채택하여, GPU 자원 재할당 및 훈련 샘플 최적화를 통해 효율성을 극대화합니다.
10월 12일1
r/LocalLLaMAAI 번역분석
임베딩을 활용한 Windows용 Spotlight 검색 기능
Windows용 Spotlight 검색 기능을 개발했으며, 이 기능은 임베딩 모델과 MoE(Mixture of Experts) 구조를 활용합니다. Qwen 3.5 4B 모델 두 개를 코딩 및 에이전트 작업에 맞게 파인튜닝하여 결합한 것이 특징입니다.
10월 12일2
r/LocalLLaMAAI 번역분석
vLLM을 사용한 6개의 3090 GPU 환경에서 Qwen3.8-Flash-Next 성능 테스트: 사용자 수 및 토큰 처리량 분석
본 보고서는 vLLM을 수정하여 6개의 RTX 3090 GPU 환경에서 Qwen3.8-Flash-Next 모델의 성능을 테스트한 결과를 분석합니다. PLE를 SSD에 배치하고 int8 KV를 사용함으로써 시스템 RAM 절약 및 VRAM 활용도를 높였습니다. 그 결과, vLLM은 Prefill 속도와 단일 사용자 처리량 측면에서 우수하며, 다중 사용자 환경에서는 llama.cpp가 더 안정적인 성능을 제공함을 확인했습니다.
10월 12일2
r/LocalLLaMAAI 번역분석
휴대폰에서 미세 조정된 0.8B 비전 모델을 구동하는 영수증 스캐너 (무료) - 상세 비용 추적
사용자가 영수증 사진을 찍어 품목별 지출 내역을 추적하는 안드로이드 앱을 개발했습니다. Qwen3.5 0.8B와 OvisOCR2 모델을 미세 조정하여 상점, 날짜, 총액 및 상세 품목 정보를 JSON 형식으로 추출합니다. 이 앱은 개인 프로젝트로 시작되었으며 무료로 제공됩니다.
10월 12일1