오늘의 트렌드
최근 24시간최근 글과 출처가 충분히 쌓이면 근거를 확인한 코멘트를 표시합니다.
Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
r/LocalLLaMAAI 번역분석
EXCLUSIVE: ByteDance, Alibaba, Tencent가 350억 달러 이상의 Nvidia 칩 주문을 넣다
ByteDance, Alibaba, Tencent 등 주요 빅테크 기업들이 Nvidia 칩을 대규모로 주문하며 AI 인프라 구축에 막대한 투자를 진행하고 있습니다. 이는 글로벌 빅테크들의 AI 경쟁 심화와 데이터센터 확장을 보여주는 핵심 지표입니다.
10월 21일1
r/LocalLLaMAAI 번역분석
Eagle-4 출시: DFlash2 및 DSpark보다 빠른 성능
새롭게 출시된 Eagle-4 모델이 기존의 DFlash2나 DSpark 대비 월등히 높은 성능 향상을 보여주었습니다. Qwen 3.8 27B를 기반으로 한 다양한 최적화 기법들의 벤치마크 결과를 비교하며, EAGLE-4가 가장 뛰어난 속도 개선 효과를 입증했습니다.
10월 21일1
r/LocalLLaMAAI 번역분석
로컬 LLM 속도 비교 및 성능 분석
본 글은 Unsloth와 Qwen 3.8 Flash Next 모델을 활용하여 로컬 환경에서 LLM의 속도 및 성능을 분석한 내용입니다. CachyOS 사용 시 최대 48t/s라는 높은 처리 속도를 달성했으며, 32k 컨텍스트 크기는 8GB GPU에서도 안정적으로 구동됨을 확인했습니다.
10월 20일1
r/LocalLLaMAAI 번역분석
Intel B65 시스템에서 Flash-Next 및 기타 모델의 긴 컨텍스트 스윕 테스트 결과
본 기사는 Intel B65 시스템 환경에서 Flash-Next 및 Qwen3.8 등 인기 모델들을 대상으로 긴 컨텍스트 스윕 테스트 결과를 공유합니다. 높은 메모리 대역폭과 다양한 요청 수에 따른 전체 출력 처리량(tokens/sec)을 측정하여, 실제 환경에서의 AI 성능을 분석했습니다.
10월 20일1
r/LocalLLaMAAI 번역분석
[논문] The COUNT: N-gram 개수를 세는 것이 호스트 메모리에서의 확장성과 학습 없는 적응을 가능하게 하다
본 논문은 n-gram 개수(COUNT)를 호스트 메모리에 저장하여, 추가적인 학습 가능한 매개변수 없이도 효율적으로 n-gram 임베딩을 구축하는 방법을 제안합니다. 이를 통해 GPU 메모리 제약 하에서도 모델의 확장성과 성능 개선을 달성할 수 있습니다. 특히 COUNT는 사전 계산된 코퍼스 빈도수를 활용하며, 추론 시 새로운 도메인에 대한 훈련 없이 적응(adaptation)이 가능하여 효율적입니다.
10월 20일1
r/LocalLLaMAAI 번역분석
Qwen3.8-Flash-Next 대 Opus 5.5: Claude Code 및 Pi를 사용한 6가지 방식 벤치마크
본 기사는 LlamaStash의 실제 기능(KV 캐시 저장 및 복원)을 테스트하기 위해 Qwen3.8-Flash-Next와 Opus 5.5를 비교한 벤치마크 결과입니다. Claude Code, Pi 등 다양한 조합으로 총 12개의 PR을 진행했으며, Opus가 전반적으로 더 나은 코드 작성 능력을 보였습니다. 다만 Flash-Next도 동일 노력 수준에서 Opus에 근접하는 성능을 보여주었습니다.
10월 20일1
r/LocalLLaMAAI 번역분석
Ornith-1.5-122B: Qwen 기반 파인튜닝 모델 공개
Ornith에서 자가 개선(self-improvement)을 통해 구축된 파운데이션 모델 Ornith-1.5를 공개했습니다. 이 모델은 Qwen3.5와 Gemma4 기반의 Ornith-1.0을 확장했으며, 태스크 생성부터 솔루션 롤아웃까지 전 과정을 공동으로 최적화하는 자가 개선 루프를 특징으로 합니다.
10월 20일1
r/LocalLLaMAAI 번역분석
Phonon이 오픈 소스로 공개되었습니다: 엣지 디바이스에서 구동되도록 설계된 31M 및 40M TTS 모델
Gradium이 첫 오픈 소스 TTS 모델인 Phonon을 공개했습니다. 이 모델은 장치(device) 구동에 최적화된 31M 및 40M 규모의 경량 Text-to-Speech 모델 모음입니다. 추론 스택 전체가 Rust로 작성되어 CPU, GPU, NPU 등 다양한 백엔드를 지원합니다.
10월 20일0
r/LocalLLaMAAI 번역분석
prefiller 모델을 사용하여 낮은 양자화(low quant)된 Qwen3.8-27b의 성능 개선
ISTA-DASLab에서 개발한 데모는 낮은 VRAM 사용량과 빠른 디코딩 속도를 유지하면서, 낮은 양자화로 인해 손실된 정확도를 복구하는 방법을 제시합니다. 이 기술은 특히 4k 이상의 긴 길이의 시퀀스에서도 성능 저하 없이 작동하도록 설계되었습니다.
10월 20일0
r/LocalLLaMAAI 번역분석
migtissera/Tess-4.5-27B (Qwen finetune)
migtissera에서 공개한 Tess-4.5-27B 모델은 기존 대비 적은 토큰 사용량으로도 동일하거나 더 높은 성능을 보여줍니다. 특히 추론 과정(thought process)을 줄여 효율성을 극대화했으며, 다양한 벤치마크 시나리오에서 상당한 토큰 절감 효과를 입증했습니다.
10월 20일0
r/LocalLLaMAAI 번역분석
엔진들이 순차적으로 작동한다면 24GB로 충분합니다
이 글은 여러 AI 엔진(llama, comfyUI 등)을 하나의 GPU에서 충돌 없이 순차적으로 로드하고 전환할 수 있는 시스템 서비스 'Berth'를 소개합니다. 사용자가 원하는 시점에 필요한 기능을 감지하여 VRAM을 할당하고 점유자를 관리함으로써, 각 엔진 간의 네이티브한 전환과 자원 관리를 가능하게 합니다.
10월 20일1
r/LocalLLaMAAI 번역분석
LLM을 위한 JEV 기반 적응형 사고(Adaptive Thinking)
본 글은 LLM의 사고 과정을 적응적으로 만들기 위해 JEV 로직을 활용하는 아이디어를 제시합니다. 단어별 엔트로피 측정과 게이트(JEV)를 사용하여 모델이 확신하지 못할 때 추가적인 '사고 블록'을 트리거하도록 설계했습니다.
10월 19일0
r/LocalLLaMAAI 번역분석
inclusionAI의 Ming-3.0-audio-tiny 모델 소개
inclusionAI가 개발한 Ming-3.0-audio-tiny는 작고 네이티브한 오디오-언어 모델입니다. 이 모델은 텍스트 명령어와 함께 오디오 입력을 받아 음성 인식, 구두 질문 답변, 오디오 이해 및 추론 기능을 지원합니다. 중국어와 영어 등 다양한 언어 환경에서 높은 효율성과 복잡한 지능적 처리를 제공하는 것이 특징입니다.
10월 19일0
r/LocalLLaMAAI 번역분석
inclusionAI가 Ming-3.0-audio-flash (126B MoE)를 공개: 오디오 이해 및 음성 출력 기능 탑재
inclusionAI가 126B MoE 모델인 Ming-3.0-audio-flash를 공개했습니다. 이 모델은 오디오 입력을 받아 텍스트 또는 음성 응답을 생성할 수 있으며, 전사, 음성 Q&A, 장시간 녹음 이해 등 다양한 기능을 지원합니다. 로컬 배포는 Transformers, SGLang, vLLM-Omni 경로로 가능하며, 복잡한 대화 환경에서의 성능 테스트가 기대됩니다.
10월 19일0
r/LocalLLaMAAI 번역분석
Cohere 모델에 대한 llama.cpp 지원
Cohere의 Nick이 llama.cpp 지원 업데이트를 발표했습니다. 이제 Cohere의 모든 최신 모델 아키텍처가 llama.cpp와 호환되어 사용 편의성이 크게 향상되었습니다. 또한, Cohere Transcribe 모델도 Unsloth 및 Unsloth Studio에서 파인튜닝할 수 있게 되었습니다.
10월 19일1
r/LocalLLaMAAI 번역분석
inclusionAI의 Ming-3.0-audio-flash
inclusionAI가 개발한 Ming-3.0-audio-flash는 오디오와 텍스트 지침을 입력받아 음성 인식, 질문 답변, 추론 및 합성 음성 응답까지 지원하는 네이티브 오디오-언어 모델입니다. 이 모델은 중국어와 영어의 다양한 방언과 악센트, 소음 환경 등 복잡한 상황에 대응할 수 있습니다.
10월 19일0
r/LocalLLaMAAI 번역분석
ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF 업데이트 정보
Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF 모델의 업데이트 정보를 제공합니다. 이번 버전은 전문가(experts) 유지 여부가 변경되었으며, 기본 IQ3_S 대비 가중치는 수정되지 않았습니다. 영어 기능에 초점을 맞추어 개발되어 다국어 기능은 제외되었습니다.
10월 19일0
r/LocalLLaMAAI 번역분석
DeepSeek V4.1 Flash 모델을 이용한 성능 테스트 결과 (2.61 bpw 및 Engram 사용)
DeepSeek V4.1 Flash 모델을 활용하여 프로그래밍 및 에이전트 작업을 위한 성능 테스트를 진행했습니다. 이 엔진은 26 t/s의 생성 속도와 170 t/s의 프롬프트 처리 속도를 기록하며 우수한 성능을 보였습니다. 다만, 이미지 지원 기능과 대용량 가중치 로딩 시간 등 몇 가지 제약 사항이 확인되었습니다.
10월 19일0
r/LocalLLaMAAI 번역분석
llama 서버의 기본 포트가 8080에서 9931로 변경되었습니다
llama 서버의 기본 포트가 기존 8080에서 9931(ggml)로 변경되었습니다. 이 업데이트는 v0.7.0 버전부터 적용되었으며, 사용자가 포트를 명시적으로 설정하지 않은 경우 호환성 문제가 발생할 수 있습니다.
10월 19일1
r/LocalLLaMAAI 번역분석
AI 연구소의 벤치마크 점수가 독립적인 테스트 결과보다 평균 6.4% 높게 보고됨
AI 연구소들이 자체적으로 발표하는 벤치마크 점수가 독립적인 테스트 결과보다 평균 6.4% 높게 보고되는 경향이 있음을 분석했습니다. 이 연구는 1,629개의 공개된 벤치마크 결과를 활용하여 180개 모델의 103개 벤치마크 비교를 매칭한 내용을 담고 있습니다.
10월 19일0