Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
r/LocalLLaMAAI 번역분석
VLM을 사용하여 로봇 영상을 인간보다 19배 저렴한 비용으로 하위 작업(subtasks)으로 변환했습니다
VLM을 활용하여 로봇 비디오를 세부 하위 작업으로 자동 변환하는 새로운 파이프라인을 구축했습니다. 이 방식은 인간 주석 처리 대비 비용을 19배 절감하며, 장기적 과제 수행을 위한 정밀한 학습 신호 생성에 효과적입니다.
6월 29일1
r/LocalLLaMAAI 번역분석
문서를 구조화된 JSON으로 변환하기 위한 로컬 AI
데이터 유출 걱정 없이 PDF나 이미지에서 구조화된 JSON을 추출할 수 있는 오픈 소스 도구인 Parsehawk를 소개합니다. vLLM과 NuExtract 모델을 활용하여 로컬 환경(NVIDIA 또는 Apple Silicon)에서 API, CLI, 웹 UI 형태로 사용할 수 있습니다.
6월 29일1
r/LocalLLaMAAI 번역분석
Qwen3-tts.cpp + Compose Desktop GUI
Qwen3-TTS를 GGML 기반으로 구현하여 실시간 속도를 5배 개선한 qwen3-tts.cpp와 이를 위한 Kotlin Compose Desktop GUI 프로젝트를 소개합니다. Python 레퍼런스 대비 15배 빠른 속도를 자랑하며 음성 복제 및 스트리밍 기능을 지원합니다.
6월 29일1
r/LocalLLaMAAI 번역분석
다소 의외의 결과: 수학 및 코딩에서 HuiHui abliterated 모델이 Vanilla 3.6-35B-a3B를 압도하다
HuiHui abliterated 모델이 Vanilla 3.6-35B-a3B 모델보다 수학 및 코딩 벤치마크에서 더 높은 성능을 보였습니다. 거절 메커니즘을 제거하는 과정이 특정 추론 작업에서 긍정적인 영향을 미칠 수 있음을 시사합니다.
6월 29일1
r/LocalLLaMAAI 번역분석
Wispr Flow만큼 뛰어난 받아쓰기 파이프라인(오픈 소스)을 구축하는 데 필요한 것
Wispr Flow와 유사한 성능을 가진 오픈 소스 받아쓰기 파이프라인 구축 과정을 공유합니다. 로컬 ASR 모델의 한계를 극복하기 위해 Whisper Large v3 Turbo와 Qwen3-32B를 결합한 후처리 레이어를 활용하여 개발자 용어 인식 정확도를 높였습니다.
6월 29일1
r/LocalLLaMAAI 번역분석
NASA, 미래 우주 임무를 위한 로컬 LLM 추론 테스트 진행
NASA는 통신 지연이 발생하는 우주 환경을 위해 로컬 하드웨어에서 실행되는 의료 AI 어시스턴트(CMO-DA)를 개발 중입니다. RamaLama와 llama.cpp를 활용하여 클라우드 연결 없이 엣지 디바이스에서 RAG 기반의 의료 진단 지원 시스템을 구축하는 것이 핵심입니다.
6월 29일1
r/LocalLLaMAAI 번역분석
소비자용(ish) 하드웨어에 H200 NVL 구축하기
Threadripper 프로세서와 H200 NVL을 활용하여 소비자용 등급의 하드웨어에 고성능 GPU를 구축한 사례를 소개합니다. 성공적인 구축을 위해 BIOS의 PCIe 관련 세부 설정과 커스텀 쿨링 시스템이 필수적임을 강조합니다.
6월 29일1
r/LocalLLaMAAI 번역분석
CPU 전용 GLM 5.2: Epyc 및 512GB RAM 환경 테스트
Epyc CPU와 512GB RAM 환경에서 GLM 5.2 4-bit 모델의 성능을 테스트한 결과입니다. 복잡한 3D 게임 제작 프롬프트에 대해 높은 품질의 코드를 생성하며 놀라운 추론 능력을 보여주었습니다.
6월 29일1
r/LocalLLaMAAI 번역분석
로딩 시 성능 저하를 최소화하면서 트랜스포머 블록(Transformer blocks) 전체를 건너뛸 수 있는 방법
llama.cpp 포크를 통해 런타임 시 특정 트랜스포머 블록을 건너뛰어 모델 로딩 성능을 최적화하는 방법을 소개합니다. 양자화와 병행하여 하드웨어 제약을 극복할 수 있으며, 효율적인 블록 선택 메커니즘이 핵심입니다.
6월 29일1
r/LocalLLaMAAI 번역분석
MaralGPT Mythos 9B 2606이 방금 출시되었습니다. 작동 방식은 다음과 같습니다.
Qwen 3.5를 기반으로 미세 조정된 오픈 소스 모델 MaralGPT Mythos 9B 2606이 출시되었습니다. 이 모델은 검열이 없는 개방적인 특성을 가지며, 100만 토큰의 확장된 컨텍스트 윈도우를 지원합니다.
6월 29일0
r/LocalLLaMAAI 번역분석
CrowdStrike의 최신 위협 보고서, 프롬프트(prompts)를 "새로운 멀웨어"라고 지칭: 이것이 실제로 의미하는 바와 해킹이 이전보다
CrowdStrike의 보고서에 따르면 프롬프트 주입(Prompt Injection)이 새로운 멀웨어로 부상하고 있습니다. AI 시스템이 텍스트 기반 지침을 구분하지 못하는 취약점을 악용하여, 기술적 코드 없이 자연어만으로 자격 증명과 데이터를 탈취하는 공격이 급증하고 있습니다.
6월 29일1
r/LocalLLaMAAI 번역분석
MiCA가 Hugging Face PEFT에 통합되었습니다
Hugging Face PEFT 라이브러리에 새로운 적응 기술인 MiCA(Minor Component Adaptation)가 통합되었습니다. MiCA는 모델의 미세한 특이 부공간을 활용하여 기존 LoRA 대비 지식 습득력을 높이고 파괴적 망각을 줄이는 효율적인 미세 조정 방식을 제공합니다.
6월 29일1
r/LocalLLaMAAI 번역분석
업데이트: 소형 모델에서의 절차적 기술 전이 (Procedural Skill Transfer) 테스트 첫 수동 결과
대형 모델의 절차적 기술을 소형 모델로 전이할 수 있는지 확인하기 위한 실험적 방법론을 소개합니다. Three.js를 활용해 모델의 계획 능력과 구조적 실행력을 테스트하며, 스캐폴딩(scaffolding)을 통해 소형 모델의 성능 개선 가능성을 탐색합니다.
6월 29일1
r/LocalLLaMAAI 번역분석
4x DGX Spark에서 실행되는 고품질 GLM-5.2 양자화(Quant) - 가이드, 결과 및 비교
4대의 DGX Spark를 사용하여 GLM-5.2 모델을 NVFP4 방식으로 양자화하고 128K 컨텍스트에서 구동하는 기술 가이드입니다. DCP4와 MTP1 기술을 결합하여 메모리 제약을 극복하고 실질적인 서빙이 가능한 수준의 성능을 구현했습니다.
6월 29일1
r/LocalLLaMAAI 번역분석
로컬에서 실행되는 모드가 이미지를 당신이 플레이할 수 있는 귀엽고 제어 가능한 캐릭터로 변환합니다
이미지를 제어 가능한 캐릭터로 변환하는 로컬 실행형 800M 모델을 소개합니다. 디퓨전 포싱과 인과적 디퓨전 방식을 사용하여 프레임 간 안정성을 높였으며, 소비자용 GPU에서도 원활하게 작동합니다.
6월 29일1
r/LocalLLaMAAI 번역분석
소형 모델을 위한 에이전트 하네스(Agent Harness)를 구축했습니다. Qwen 3.5 4b로 서버를 관리하게 했습니다.
소형 로컬 모델(Qwen, Gemma 등)의 특성에 최적화된 에이전트 하네스 구축 사례를 소개합니다. 기존 프레임워크가 소형 모델에서 겪는 도구 호출 실패나 상태 추적 미흡 문제를 해결하는 데 중점을 둡니다.
6월 29일1
r/LocalLLaMAAI 번역분석
로컬 모델을 사용하는 NPC 엔진
로컬 LLM을 활용하여 게임에 구애받지 않는 NPC 엔진을 구축하는 방법을 소개합니다. Gemma 4와 RAG 기술을 결합하여 빠른 응답 속도와 효율적인 행동 주입을 구현했습니다.
6월 28일1
r/LocalLLaMAAI 번역분석
Ornith-1.0-35B GGUF 업데이트: 네이티브 MTP 투기적 디코딩 (speculative-decode) 접목 + 전체
Ornith-1.0-35B GGUF 모델에 네이티브 MTP(Multi-Token Prediction) 투기적 디코딩 기술을 접목하여 추론 성능을 개선했습니다. IQ4_XS 양자화 모델에 MTP 헤드를 결합하여 단일 스트림 디코딩 속도를 약 1.3~1.35배 향상시켰으며, 높은 모델 충실도를 유지합니다.
6월 28일0
r/LocalLLaMAAI 번역분석
llama.cpp를 모니터링하고 메모리 사용량을 분석하는 스크립트
llama.cpp의 상세 출력을 파싱하여 메모리 할당량과 성능 통계를 요약해주는 Bash 스크립트를 소개합니다. 모델의 VRAM/RAM 요구 사항을 예측하기 어렵다는 문제를 해결하기 위해 버퍼 할당을 그룹화하고 t/s 등의 통계를 제공합니다.
6월 28일1
r/LocalLLaMAAI 번역분석
Ornith 1.0-35b
3B 활성 파라미터를 가진 MoE(Mixture of Experts) 구조의 Ornith 1.0-35b 모델에 대한 리뷰입니다. 낮은 활성 파라미터에도 불구하고 속도, 정확도, 지능 측면에서 뛰어난 성능을 보여줍니다.
6월 28일1