Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
RedditAI 번역요약
양자화된 GGUF에 직접 LoRA를 학습시키기: PyTorch 불필요, 부모 모델(FP16)도 필요 없음
이 가이드는 양자화된 GGUF 파일 자체를 대상으로 LoRA를 직접 학습시키고, 별도의 PyTorch나 부모 모델(FP16) 없이도 파인튜닝을 수행하는 방법을 제시합니다. 'Runner'라는 도구를 사용하면 CPU/GPU 환경에서 정확한 서비스 순방향 패스와 동일하게 어댑터를 학습시킬 수 있으며, 이후 단일 파일로 병합할 수도 있습니다.
10월 15일1
RedditAI 번역요약
ROCprofGUI
ROCprofGUI는 AMD 하드웨어 엔진 트레이스를 분석하기 위해 개발된 도구입니다. 기존 ROCm 생태계의 도구들을 대체할 수 있으며, 사용자 친화적인 UI와 에이전트 도움 기능을 제공합니다. rocprofv3, RADV Vulkan 트레이스, Loom 커널 HRX 트리스를 모두 지원하며 GUI 및 헤드리스 모드로 사용 가능합니다.
10월 15일1
RedditAI 번역요약
배우 각자의 목소리를 유지하는 오픈소스 더빙 툴을 만들었습니다 (OmniVoice + Whisper, 6 GB+ NVIDIA)
배우 개개인의 목소리를 유지하며 콘텐츠를 더빙할 수 있는 오픈소스 툴을 공개했습니다. 이 시스템은 OmniVoice, Whisper 등 로컬 모델들을 활용하여 영어 번역이 어려운 쇼와 영화도 접근 가능하게 만듭니다. 레포지토리에 모든 스크립트와 가이드가 포함되어 있어 사용자가 쉽게 개선에 참여할 수 있습니다.
10월 15일1
RedditAI 번역요약
사용된 EPYC 프로세서로 4개의 R9700 구축: 장치당 총 $10.7k (384GB VRAM)를 투자했습니다. 세 대를 직접 구축했습니다.
스타트업이 로컬 AI 시스템 구축 경험과 아키텍처를 공유하며, EPYC 프로세서와 R9700 GPU를 활용해 총 384GB VRAM을 확보한 과정을 설명합니다. 이 시스템은 총기 관련 비즈니스 백엔드 AI에 사용되며, 웹사이트 최신화 및 정보 추출 작업을 수행합니다.
10월 15일2
RedditAI 번역요약
에이전트 스킬 구성에 마법의 조합(Magic The Gathering)에서 영감을 얻다
본 글은 에이전트 스킬 구성에 마법의 조합(MTG) 게임 메커니즘에서 영감을 얻어 세 가지 유형으로 분류하는 방법을 제안합니다. 활성화형, 정적, 트리거형 스킬로 분리함으로써 에이전트에게 스킬 사용 맥락을 명확히 전달하고 신뢰성을 높일 수 있습니다.
10월 15일1
RedditAI 번역요약
pi-multi-agent-skill: 확장이나 도구 없이 pi를 위한 미니멀리스트 서브에이전트 접근 방식
본 글은 확장이나 외부 도구 없이 pi를 위한 미니멀리스트 다중 에이전트 서브에이전트 접근 방식을 소개합니다. 이 스킬은 백그라운드에서 지속적으로 실행되며, 메인 세션 종료 후에도 결과를 검색할 수 있습니다. 또한, 컨텍스트 비용을 최소화하고 방향 지정(steer), 중단(abort) 등 다양한 제어 기능을 제공하여 에이전트 워크플로우의 안정성과 효율성을 높였습니다.
10월 14일1
RedditAI 번역요약
동일한 위협 모니터링 프로젝트에 대한 Qwen 3.8 27B와 Flash Next 125B 비교: 코드 검토, 테스트 및 양측의 실패 지점
본 기사는 Qwen 3.8 27B와 Flash Next 125B 두 대규모 언어 모델을 사용하여 실시간 사이버 위협 인텔리전스 플랫폼 구축 프로젝트를 비교 분석한 내용입니다. 이 테스트는 데이터 무결성, 소스 통합, 복잡한 요구사항 충족 여부를 중점적으로 다루었으며, 어느 쪽도 전체 과제를 완벽히 수행하지 못했음을 보여줍니다.
10월 14일1
RedditAI 번역요약
BitRun 제작: 1비트 LLM을 위한 독립 실행형 러너
BitRun은 일반 노트북의 전력 소모나 복잡한 환경 설정 없이 1비트 테르너리(ternary) LLM을 실행할 수 있게 만든 독립형 러너입니다. 이 도구는 Apple M4 Pro CPU에서 초당 98~127 토큰, Intel Core i5 PC CPU에서 초당 40~45 토큰의 성능을 보여주며, GPU 사용률 없이 최소 전력으로 작동합니다.
10월 14일2
RedditAI 번역요약
Qwen 3.8 flash를 12GB VRAM과 32GB RAM으로 구동하는 방법
본 글은 Qwen 3.8 flash 모델을 12GB VRAM과 32GB RAM 환경에서 구동하는 실험 설정을 공유합니다. 4070 Super와 32GB RAM 조합으로 256K 컨텍스트를 성공적으로 구동했으며, 전반적인 속도 및 설정 세부 정보를 GitHub 레포지토리에 제공하여 사용자가 자신의 사양에 맞게 조정할 수 있도록 안내하고 있습니다.
10월 14일1
RedditAI 번역요약
오픈 소스 Cotypist/Granola 하이브리드 구축: 자체 회의록을 컨텍스트로 활용한 Gemma 4 E2B 자동 완성 (M4 Max에서
로컬 회의록과 자체 컨텍스트를 활용하여 타이핑 자동 완성 및 받아쓰기를 보완하는 데스크톱 앱 하네스(LokalBot)가 개발되었습니다. Gemma 4 E2B 베이스 모델을 사용하여 일반 MacBook 환경에서 품질과 낮은 지연 시간 사이의 균형을 맞추는 것이 가장 효과적입니다.
10월 14일1
RedditAI 번역요약
로컬 Qwen3.8FN 에이전트가 클라우드보다 훨씬 저렴합니다
로컬에서 Qwen3.8FN 모델을 활용한 에이전트 'Drax'를 구축하고 운영하는 비용 효율성을 분석했습니다. 전력 요금 기준으로 볼 때, 로컬 실행이 클라우드 API 사용보다 훨씬 저렴하며, 특히 비피크 시간대에 큰 이점을 가집니다. Drax는 높은 컨텍스트 크기와 프롬프트 캐시 활용률을 자랑합니다.
10월 13일1
RedditAI 번역요약
Lipwise: 처리 기능이 내장된 스마트 받아쓰기 앱
Lipwise는 Windows, macOS, Linux용 스마트 받아쓰기 앱으로, 단순 음성 인식(STT)을 넘어 LLM을 활용하여 텍스트를 실시간으로 수정하고 가공합니다. 사용자가 말한 내용을 즉시 출력하기 전에 LLM이 구두점 추가, 목록화, 요약 등 다양한 편집 작업을 수행해 정확도를 높였습니다.
10월 13일1
RedditAI 번역요약
내가 'Por qué no los dos?'를 만들었습니다
작성자는 기존 LLM 배포에 'closed-set decisions' 기능을 추가한 Rust 서비스 pqnld를 개발했습니다. 이 서비스는 컨텍스트, 질문 및 허용된 답변을 받아 모델 로그 확률에서 선택지와 점수를 반환하며, 전용 결정 모델 없이 일반 LLM이 의사결정 역할을 하도록 합니다.
10월 13일0
RedditAI 번역요약
Oh-My-Pocket 모바일 하네스 (iOS + Android)
Oh-My-Pocket은 Pi-Pocket의 포크 버전으로, 모바일 환경에서 코딩 경험을 향상시킨 개발 도구입니다. 커스텀 라우터 에디터, 개선된 컨텍스트 베이스라인, 에이전트 정의 기능 등을 추가하여 휴대폰으로 더욱 강력한 개발 작업을 할 수 있게 합니다.
10월 13일1
RedditAI 번역요약
Basalt: Qwen 3.8 Flash Next를 위한 빠른 Blackwell 추론 엔진 (그리고 무료로 비전 기능을 구현한 방법)
Basalt는 Qwen 3.8 Flash Next를 위해 Blackwell에 최적화된 추론 엔진입니다. 이 엔진은 비전 기능을 효율적으로 지원하며, 유휴 상태에서는 인코더가 RAM에 존재하여 VRAM 사용을 최소화합니다. 이미지가 들어오면 필요한 순간에만 VRAM으로 업로드되어 빠르고 비용 효율적인 동적 비전 처리가 가능합니다.
10월 13일1
RedditAI 번역요약
Horsey challenge | Strata Fork | Qwen 3.8 FN NVFP4
사용자가 Strata fork와 Qwen 모델을 활용하여 'horsey challenge'를 성공적으로 시도한 경험을 공유합니다. 이 과정에서 시스템 자원 관리 및 최적화의 중요성을 강조하며, Unity나 Blender 같은 환경에서의 장시간 사용에 대비해 압축률 조정이 필요함을 언급했습니다. 전반적으로 로컬 환경에서 대규모 모델 구동 능력이 크게 향상되었음을 보여줍니다.
10월 13일1
RedditAI 번역요약
80B MoE (Qwen3-Next, 48 GB GGUF)가 Chrome 탭에서 응답하는 방식: llama.cpp의 WebGPU 백엔드와
llama.cpp의 WebGPU 백엔드를 활용하여 브라우저 탭에서 MoE(Mixture of Experts) 모델을 디스크 스트리밍 방식으로 구동하는 방법을 소개합니다. 이 기술은 별도의 엔진 없이도 llama.cpp가 지원하는 모든 MoE 모델에 적용 가능하며, OPFS를 이용한 페이징 기능과 WebGPU의 최적화된 로직을 통해 성능을 개선했습니다.
10월 13일1
RedditAI 번역요약
특정 하드웨어 및 모델을 위한 llama.cpp 최적화
본 글은 특정 하드웨어(P100 등)와 모델 조합에 대한 llama.cpp 최적화 과정을 다룹니다. 저자는 '비전 코딩'이라는 방식으로 Claude에게 도움을 받아 성능 개선 작업을 진행했으며, 특히 semi-well-known shinbunbun p100 패치 등을 활용하여 디코드 성능에서 상당한 향상(최대 +~70%)을 달성했음을 공유합니다.
10월 13일1
RedditAI 번역요약
강의: 처음부터 GPU 컴파일러 구축하기. PyTorch 그래프를 다단계 IR을 통해 CUDA로 낮추기 (GPU_MODE 비디오 + 기사)
본 기사는 PyTorch 그래프를 다단계 IR(Intermediate Representation)을 거쳐 CUDA 커널로 낮추는 GPU 컴파일러 구축 과정을 설명합니다. TVM, Modular, PyTorch Inductor 등 최신 컴파일러의 공통 개념에 초점을 맞추어, 일반 연산이 어떻게 점진적으로 낮은 레벨의 CUDA 커널로 변환되는지 보여줍니다.
10월 13일0
RedditAI 번역요약
로컬 Ollama 모델을 사용하는 오픈 소스 데스크톱 에이전트 앱: Qwen3.5:9b와 Qwen3.8 두 개의 에이전트를 16GB 카드로
본 글은 로컬 LLM(Qwen3.5:9b, Qwen3.8)을 활용하여 여러 개의 독립적인 '에이전트'를 구동하는 오픈 소스 데스크톱 앱 개발 경험을 공유합니다. 이 앱은 각 에이전트의 협업 과정을 시각화하며, 16GB VRAM 환경에서의 성능 및 리소스 한계점들을 다루고 있습니다.
10월 13일1