오늘의 트렌드
최근 24시간최근 글과 출처가 충분히 쌓이면 근거를 확인한 코멘트를 표시합니다.
Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
r/LocalLLaMAAI 번역분석
Percepta의 새로운 아키텍처 Spotlight: 지능과 기억 분리, 모델 가중치 변경 없이 지식 및 스킬 성장 가능
Percepta가 'Spotlight'라는 새로운 아키텍처를 공개했습니다. 이 아키텍처는 어텐션을 메모리로 대체하여 무제한으로 성장하는 메모리를 구현했으며, 접근 비용 증가 없이 지식과 스킬을 저장할 수 있습니다. 특히 계산(지능 모듈)과 기억(메모리)을 분리함으로써, 모델 가중치 변경 없이도 새로운 지식이나 역량을 학습하고 확장할 수 있다는 점이 핵심입니다.
10월 9일1
r/LocalLLaMAAI 번역분석
[논문] Stepped MoE: 설정 가능한 추론 복잡도를 갖춘 세그먼트 레벨 라우팅
본 논문은 탄성 구조와 희소 게이트 아키텍처를 결합하여, 배포 제약 조건과 작업 요구 사항 모두에 적응하는 통합 LLM 프레임워크를 제시합니다. 이 모델은 컨텍스트 및 목표 효율성에 따라 추론 시 정확도-효율성 트레이드오프를 세밀하게 제어할 수 있습니다. 실험 결과, 본 모델은 다양한 매개변수 크기(10억~40억)에서 높은 정확도를 유지하면서도 낮은 지연 시간을 달성하여 기존 밀집 모델 대비 우수한 성능을 입증했습니다.
10월 9일0
r/LocalLLaMAAI 번역분석
[논문] DLoop: 루프형 추측 디코딩
본 논문은 LLM의 생성 속도를 가속화하는 추측 디코딩(Speculative decoding) 기법을 개선한 DLoop를 제안합니다. 기존 방식의 비효율적인 목표 모델 순전파 문제를 해결하기 위해, DLoop는 검증 전에 여러 초안 단계를 적응적으로 수행하고 누적된 토큰을 한 번에 검증하는 루프형 방식을 사용합니다. 이를 통해 다양한 추측 디코딩 방법론 전반에서 손실 없는 방식으로 속도를 크게 향상시킵니다.
10월 9일0
r/LocalLLaMAAI 번역분석
Qwen3.8-27B (HauhauCS) 언센서드 모델을 4090에서 262K 컨텍스트로 구동한 결과
HauhauCS의 언센서드 Qwen3.8-27B 모델을 GGUF 형식으로 구동하는 새로운 방법을 제시합니다. 기존 llama.cpp에서 131K 컨텍스트로 작동하던 것과 비교하여, MTP3를 활용해 262K 네이티브 컨텍스트에서 높은 디코딩 속도와 프롬프트 수용률을 달성했습니다.
10월 9일0
r/LocalLLaMAAI 번역분석
최신 AI 모델의 글쓰기 스타일 경향성 분석
최신 AI 모델들은 정보 밀도가 높고 간결하며, 난해한 표현을 사용하여 정보를 압축적으로 전달하는 경향을 보입니다. 이는 마치 '실패 지점에서의 바두리아르적 장식'과 같은 전문 용어 사용으로 나타나며, 독자에게 해석을 요구합니다. 이러한 스타일은 토큰 효율성을 추구하거나 모델이 가장 간결한 방식으로 아이디어를 전달하려는 시도로 분석됩니다.
10월 9일0
r/LocalLLaMAAI 번역분석
GGUF 기반 LoRA: Qwen3.8-Flash-Next를 40GiB VRAM에서 학습시키기
본 글은 GGUF 기반 LoRA를 활용하여 Qwen3.8-Flash-Next와 같은 대규모 모델을 40 GiB VRAM 환경에서 효율적으로 학습시키는 방법을 다룹니다. CPU 오프로딩 없이도 디스크 engram 사용 시 훈련 속도 저하가 없음을 보여주며, 특정 하드웨어(Strix Halo)에서의 성능 지표를 제시합니다.
10월 9일0
r/LocalLLaMAAI 번역분석
Swift Models 다운로드 220만 돌파! 새로운 모델 얼리 액세스 및 연구원 무료 컴퓨팅 제공
UkisAI가 추론 효율성을 높인 LLM 'Swift' 시리즈를 공개하며 다운로드 200만 건 돌파에 감사 인사를 전했습니다. 이와 함께 Swift 모델을 활용한 새로운 기능과 도구들을 담은 Discord 커뮤니티를 개설하고, 초기 테스터들에게 미공개 모델 및 최적화된 코드/추론 엔진의 얼리 액세스를 제공합니다.
10월 8일1
r/LocalLLaMAAI 번역분석
jevman: AI 의사결정 모델들이 Pac-Man을 플레이하다
본 글은 여섯 가지 의사결정 모델(kev 1.13, Kev 4B, Clef, Clef Flash, GPT-6 Luna, Laya)을 사용하여 Pac-Man 게임 플레이 성능을 비교 분석한 연구 결과입니다. 각 모델의 평균 점수와 지연 시간(latency)을 측정하여 실시간 의사결정 능력을 평가했습니다. GPT-6 Luna가 가장 낮은 응답 속도(179ms)를 보였으며, jev 1.13이 가장 높은 평균 점수를 기록하는 등 모델별 성능 차이를 보여줍니다.
10월 8일1
r/LocalLLaMAAI 번역분석
Halogen + Qwen Flash Next의 성능 향상
Halogen 버전 0.17.2 업데이트를 통해 128GB Strix Halo 환경에서 Qwen 3.8 Flash Next 모델을 구동했을 때, 긴 컨텍스트 길이에서도 일관되게 높은 디코딩 속도(약 45 tps)가 유지되는 성능 향상을 확인했습니다.
10월 8일0
r/LocalLLaMAAI 번역분석
‘llama.cpp’ 사용을 언급해야 할까요?
사용자가 최신 오픈 웨이트 모델 중 아첨이 적고 창의적 연구 보조 및 에이전트 코딩에 적합한 모델을 문의하며, 여러 LLM의 성능과 한계를 비교하고 있습니다. 특히 llama.cpp를 사용했을 때 특정 모델들이 둠 루프 없이 일관된 답변을 생성하는 점을 언급합니다.
10월 8일0
r/LocalLLaMAAI 번역분석
llama: 호스트 메모리에 유지되는 MoE 전문가를 위한 GPU 캐시 추가 (Pull Request #29887)
제공된 입력은 기술 기사라기보다는 '로봇이 아님을 증명하라'는 캡차(CAPTCHA) 형태의 보안 검증 페이지입니다. 따라서 내용 분석 및 요약이 불가능합니다.
10월 8일1
r/LocalLLaMAAI 번역분석
Qwen3.6-35B-A3B에서 CCP 정렬을 제거했습니다: 검열/선전 답변 89.8% → 2.8%, 일반 벤치마크는 약 1점 내
Hirundo 연구팀은 Qwen3.6 모델의 정치적 정렬(CCP alignment)을 제거한 'Westernized' 버전을 공개했습니다. 이들은 머신 언러닝 기법을 사용하여 검열 및 선전 답변 비율을 89.8%에서 2.8%로 크게 낮추는 데 성공했다고 주장합니다. 일반적인 역량 벤치마크에서는 큰 변화가 없었으며, 특정 정치적 질문에 대해 중립적인 입장을 취하도록 수정되었습니다.
10월 8일0
r/LocalLLaMAAI 번역분석
먼저 읽어주셔서 감사합니다
작성자는 외부 기본 가중치 없이 처음부터(from scratch) 디코더 전용 MoE 모델인 Apex-2를 훈련한 결과를 공유합니다. 이 모델은 총 파라미터 3.87B에 16개 전문가를 사용하며, 86.5B 토큰으로 사전 훈련하고 코드/수학 중심의 SFT를 거쳤습니다. 벤치마크 결과 HumanEval+에서 Qwen2.5-1.5B와 유사한 성능을 보였으나, 지식과 수학 분야에서는 여전히 개선이 필요함을 확인했습니다.
10월 8일0
r/LocalLLaMAAI 번역분석
LiquidAI의 d1-3B 및 d1-omni 소개
LiquidAI가 엣지 환경에 최적화된 두 가지 결정 모델, d1-omni-600M과 d1-3B를 공개했습니다. 이 모델들은 제로 출력 토큰을 사용하여 답변을 반환하며, 단일 순방향 패스로 텍스트, 이미지, 음성 등 다양한 모달리티 처리가 가능합니다. 특히 d1-3B는 뛰어난 속도와 멀티모달 성능을 보여주었습니다.
10월 7일0
r/LocalLLaMAAI 번역분석
LiquidAI 출시
본문은 'LiquidAI'라는 서비스가 안전과 보안에 중점을 두고 있음을 강조하며, 사용자가 봇이 아닌 실제 사람임을 증명하는 일종의 챌린지(Challenge)를 제시하고 있습니다. 이는 AI 시스템의 신뢰성 및 사용자 인증 메커니즘과 관련된 연구 또는 기술 동향을 다루고 있습니다.
10월 7일0
r/LocalLLaMAAI 번역분석
Qwen Flash Next MTP 작업 재개
본문은 AI 모델이 안전성과 보안에 전념하고 있음을 강조하며, 사용자가 봇(bot)이 아님을 증명하는 '인간 인증 챌린지'를 요구하고 있습니다. 이는 AI 시스템의 신뢰성 확보와 악용 방지에 초점을 맞춘 내용입니다.
10월 7일0
r/LocalLLaMAAI 번역분석
Qwen4Exp: am17an이 MTP를 추가한 Pull Request #29761
Qwen Flash Next 모델에 MTP(Memory Target Pointer) 기능이 추가되어 사용 가능해졌습니다. 이 업데이트는 Qwen 3.8 27B 버전으로의 전환을 고려하게 만드는 중요한 진전입니다.
10월 7일0
r/LocalLLaMAAI 번역분석
$5400 eBay 8x V100 서버, flash-next에서 구동 성공
V100 GPU 8개 서버 환경에서 opus 5.5 모델을 성공적으로 구동한 결과를 공유합니다. 특히, dflash와 nvfp4 Nvidia 체크포인트를 활용하여 27B TP=4 모델이 초당 200 토큰 이상의 높은 처리 속도를 기록했습니다.
10월 7일0
r/LocalLLaMAAI 번역분석
Strata가 llama.cpp를 압도한 것에 대한 의견
작성자는 오랫동안 llama.cpp에 MoE 캐싱 기능을 요청했으나 개선이 미미했던 경험을 공유합니다. 이에 비해 Strata라는 도구가 2주 만에 Llama 모델의 prefill 및 decode 성능을 5~10배, 3~4배 향상시키며 압도적인 성능을 보여주었습니다.
10월 7일0
r/LocalLLaMAAI 번역분석
Strata Qwen 3.8 Flash Next가 Qwen 3.8 27b 출시 이후 가장 큰 변화입니다
Strata Qwen 3.8 Flash Next가 Qwen 3.8 27b 출시 이후 가장 큰 변화를 가져왔습니다. 이 모델은 저사양 환경에서도 높은 속도와 접근성을 제공하며, qwen 3.5-35-a3b 수준의 속도를 유지하면서도 3.8 27b보다 뛰어난 지능을 보여 많은 사용자의 대안이 될 것으로 예상됩니다.
10월 7일0