Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
RedditAI 번역요약
QUASAR 4비트 QAT 체크포인트: Qwen3.5, Gemma 4 및 Muse Glimmer에 대한 내용 (Google 및 NVIDIA의
Google과 NVIDIA가 QUASAR 기술을 활용하여 Qwen3.5, Gemma 4, Muse Glimmer 등 최신 대규모 언어 모델에 대한 고성능 양자화 체크포인트를 공개했습니다. 이 체크포인트들은 양자화 인식 증류(QAD) 방식을 통해 학습되었으며, vLLM 및 llama.cpp/Ollama용 다양한 형식으로 제공됩니다.
10월 16일1
RedditAI 번역요약
휴대폰에서 1.7B 모델을 완전히 구동하며 웹 검색 기능 구현 (API 및 백엔드 없음, 오픈 소스)
오픈 소스 앱 Private Mind가 iOS 및 Android 기기에서 LLM을 로컬 구동하며 웹 검색 기능을 구현했습니다. 별도의 API나 백엔드 없이, 휴대폰의 WebView를 이용해 DuckDuckGo 결과를 파싱하고 임베딩 모델로 핵심 청크를 선택하여 답변에 출처 링크를 첨부합니다.
10월 16일1
RedditAI 번역요약
요청에 따라 LLM을 깨우고/끄는 리버스 프록시
이 프로젝트는 로컬 LLM 장비와 클라이언트 사이에 위치하는 리버스 프록시를 구현한 것입니다. 이 프록시는 요청 전 기기를 깨우고, 비활성 상태가 되면 다시 종료하여 전력을 절약합니다. 또한 `/v1/models` 엔드포인트 캐싱 및 사용자 확인 기능을 제공하여 효율성을 높였습니다.
10월 16일1
RedditAI 번역요약
Qwen3.8-Flash-Next 구동을 위한 개인 벤치마크 비교 (듀얼 R9700 구성)
본 글은 듀얼 AMD AI Pro R9700 워크스테이션 환경에서 Qwen3.8-Flash-Next 모델의 다양한 추론 옵션(Unsloth, Strata, Stilldeadcode)을 비교 분석한 내용입니다. 각 엔진별로 TTFT, 프롬프트 처리 속도, 생성 속도를 측정하여 성능 차이를 제시하며, 특히 radiance가 다른 엔진들과 근본적으로 다른 작동 방식을 가지고 있음을 강조합니다.
10월 16일1
RedditAI 번역요약
Qwen3.8FN vLLM vs. llama.cpp vs Ninfer6000 비교
본 기사는 Ninfer6000, vLLM, llama.cpp 세 가지 엔진을 사용하여 Qwen3.8-Flash-Next 모델의 성능을 비교 분석한 결과입니다. Decode 속도에서는 Ninfer6000이 vLLM 대비 우수한 성능을 보였으나, Prefill 속도는 다소 떨어지는 경향을 나타냈습니다. 전반적으로는 llama.cpp보다 월등히 높은 처리 속도를 기록했습니다.
10월 15일1
RedditAI 번역요약
Q4 이하 모델에 대한 기존 규칙이 깨지다: Nemotron 3.5 Bolt와 Liquid AI의 등장
Nemotron 3.5 Bolt와 Liquid AI의 LFM2.5를 통해, 기존 양자화 모델에 대한 규칙들이 변화하고 있습니다. 특히 Nemotron은 Mamba-Transformer 하이브리드 아키텍처와 네이티브 2-bit QAT를 적용하여 성능 저하가 매우 적음을 보여주었습니다. 또한 Liquid AI는 초극희소(Ultra-Sparse) 방식을 채택해 효율성과 속도를 높였습니다.
10월 15일1
RedditAI 번역요약
어떤 모델도 다른 모델보다 낫지 않습니다. 문제는 도구와 템플릿이 망가졌고, 일부 도구는 깨끗한 파일 이름이 필요합니다.
본 글은 특정 모델 자체보다 모델을 구동하고 사용하는 '하네스(harness)'와 도구 템플릿이 더 중요함을 강조합니다. 다양한 로컬 및 상용 LLM들을 테스트하며, 모델의 성능 차이는 주로 사용 환경과 설정에 기인한다는 점을 발견했습니다.
10월 15일0
RedditAI 번역요약
Basalt에 대한 감상글! Blackwell을 가지고 계신가요? 기쁘지 않으신가요?
Basalt는 Strata 기반의 Blackwell 하드웨어용 포크로, 사용자가 자신의 시스템 사양(5060ti 16GB, 32GB RAM)으로도 높은 성능을 달성한 경험을 공유합니다. 이 글은 커뮤니티 개발자와 사용자 간의 적극적인 상호작용과 기술 공유의 중요성을 강조하며, 전용 코딩 에이전트로서의 만족감을 표현하고 있습니다.
10월 15일0
RedditAI 번역요약
R9700으로 작업한 경험 공유: Qwen 3.6B 모델과 AWS AIDLC 워크플로우 테스트
작성자는 R9700 시스템과 Qwen 3.6B 모델을 사용하여 AWS AIDLC 워크플로우를 테스트한 경험을 공유했습니다. 이 과정에서 컨텍스트가 길어질수록 명령어 혼동 및 토큰 손실 문제가 발생했음을 언급했습니다. 또한, ChatGPT와 Opus 5.5의 예상 비용 분석과 캐시 사용량에 대한 상세 통계를 제공하며 로컬 환경 구축의 경제성을 논하고 있습니다.
10월 15일1
RedditAI 번역요약
당신의 AI 에이전트를 위한 첫 디스플레이를 소개합니다 | 모든 에이전트, 모든 화면에 적용 가능 | GitHub
기존 채팅 인터페이스의 한계를 넘어, AI 에이전트를 위한 새로운 그래픽 사용자 인터페이스(AGUI)를 제안합니다. 이 AGUI는 단순한 텍스트 기반 대화를 벗어나, 협업 화이트보드나 동적 라이브 대시보드와 같은 완전한 동적 워크스페이스를 제공하여 에이전트의 작업 수행 능력을 극대화합니다.
10월 15일2
RedditAI 번역요약
TYGER: 단일 모델에 통합된 오픈 웨이트 ASR 및 풀 듀플렉스 턴 제어
TYGER는 오픈 웨이트 ASR과 풀 듀플렉스 턴 제어를 단일 모델에 통합한 시스템입니다. 사용자의 발화 종료, 끼어들기, 망설임 등의 다양한 음성 패턴을 감지할 수 있습니다. 이 시스템은 Gemma 4 E4B와 VoxCPM2를 결합하여 최대 4개의 대화를 하나의 GPU에서 처리합니다.
10월 15일2
RedditAI 번역요약
양자화된 GGUF에 직접 LoRA를 학습시키기: PyTorch 불필요, 부모 모델(FP16)도 필요 없음
이 가이드는 양자화된 GGUF 파일 자체를 대상으로 LoRA를 직접 학습시키고, 별도의 PyTorch나 부모 모델(FP16) 없이도 파인튜닝을 수행하는 방법을 제시합니다. 'Runner'라는 도구를 사용하면 CPU/GPU 환경에서 정확한 서비스 순방향 패스와 동일하게 어댑터를 학습시킬 수 있으며, 이후 단일 파일로 병합할 수도 있습니다.
10월 15일1
RedditAI 번역요약
ROCprofGUI
ROCprofGUI는 AMD 하드웨어 엔진 트레이스를 분석하기 위해 개발된 도구입니다. 기존 ROCm 생태계의 도구들을 대체할 수 있으며, 사용자 친화적인 UI와 에이전트 도움 기능을 제공합니다. rocprofv3, RADV Vulkan 트레이스, Loom 커널 HRX 트리스를 모두 지원하며 GUI 및 헤드리스 모드로 사용 가능합니다.
10월 15일1
RedditAI 번역요약
배우 각자의 목소리를 유지하는 오픈소스 더빙 툴을 만들었습니다 (OmniVoice + Whisper, 6 GB+ NVIDIA)
배우 개개인의 목소리를 유지하며 콘텐츠를 더빙할 수 있는 오픈소스 툴을 공개했습니다. 이 시스템은 OmniVoice, Whisper 등 로컬 모델들을 활용하여 영어 번역이 어려운 쇼와 영화도 접근 가능하게 만듭니다. 레포지토리에 모든 스크립트와 가이드가 포함되어 있어 사용자가 쉽게 개선에 참여할 수 있습니다.
10월 15일1
RedditAI 번역요약
Deadcode의 Radiance 엔진을 사용한 2xR9700 및 Q4 Qwen-3.8 Flash-Next 성능 테스트
새로 조립한 PC의 성능을 테스트한 내용으로, Deadcode의 Radiance 추론 엔진을 활용하여 2xR9700과 Q4 Qwen-3.8 Flash-Next 모델의 처리량(throughput) 벤치마크를 진행했습니다. BetterBench 도구를 사용하여 구체적인 성능 데이터를 측정하고 공유했습니다.
10월 15일1
RedditAI 번역요약
사용된 EPYC 프로세서로 4개의 R9700 구축: 장치당 총 $10.7k (384GB VRAM)를 투자했습니다. 세 대를 직접 구축했습니다.
스타트업이 로컬 AI 시스템 구축 경험과 아키텍처를 공유하며, EPYC 프로세서와 R9700 GPU를 활용해 총 384GB VRAM을 확보한 과정을 설명합니다. 이 시스템은 총기 관련 비즈니스 백엔드 AI에 사용되며, 웹사이트 최신화 및 정보 추출 작업을 수행합니다.
10월 15일2
RedditAI 번역요약
에이전트 스킬 구성에 마법의 조합(Magic The Gathering)에서 영감을 얻다
본 글은 에이전트 스킬 구성에 마법의 조합(MTG) 게임 메커니즘에서 영감을 얻어 세 가지 유형으로 분류하는 방법을 제안합니다. 활성화형, 정적, 트리거형 스킬로 분리함으로써 에이전트에게 스킬 사용 맥락을 명확히 전달하고 신뢰성을 높일 수 있습니다.
10월 15일1
RedditAI 번역요약
pi-multi-agent-skill: 확장이나 도구 없이 pi를 위한 미니멀리스트 서브에이전트 접근 방식
본 글은 확장이나 외부 도구 없이 pi를 위한 미니멀리스트 다중 에이전트 서브에이전트 접근 방식을 소개합니다. 이 스킬은 백그라운드에서 지속적으로 실행되며, 메인 세션 종료 후에도 결과를 검색할 수 있습니다. 또한, 컨텍스트 비용을 최소화하고 방향 지정(steer), 중단(abort) 등 다양한 제어 기능을 제공하여 에이전트 워크플로우의 안정성과 효율성을 높였습니다.
10월 14일1
RedditAI 번역요약
동일한 위협 모니터링 프로젝트에 대한 Qwen 3.8 27B와 Flash Next 125B 비교: 코드 검토, 테스트 및 양측의 실패 지점
본 기사는 Qwen 3.8 27B와 Flash Next 125B 두 대규모 언어 모델을 사용하여 실시간 사이버 위협 인텔리전스 플랫폼 구축 프로젝트를 비교 분석한 내용입니다. 이 테스트는 데이터 무결성, 소스 통합, 복잡한 요구사항 충족 여부를 중점적으로 다루었으며, 어느 쪽도 전체 과제를 완벽히 수행하지 못했음을 보여줍니다.
10월 14일1
RedditAI 번역요약
BitRun 제작: 1비트 LLM을 위한 독립 실행형 러너
BitRun은 일반 노트북의 전력 소모나 복잡한 환경 설정 없이 1비트 테르너리(ternary) LLM을 실행할 수 있게 만든 독립형 러너입니다. 이 도구는 Apple M4 Pro CPU에서 초당 98~127 토큰, Intel Core i5 PC CPU에서 초당 40~45 토큰의 성능을 보여주며, GPU 사용률 없이 최소 전력으로 작동합니다.
10월 14일2