Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
RedditAI 번역요약
16GB VRAM NVIDIA 사용자를 위한 ik_llama.cpp용 Qwen-27B-IQ4_KS
16GB VRAM NVIDIA GPU 사용자를 위해 최적화된 Qwen-27B 모델의 새로운 KS 양자화 버전을 소개합니다. ik_llama.cpp 프로젝트를 활용하여 모델 크기를 14.1GB로 줄이면서도 높은 성능과 105k의 컨텍스트 윈도우를 확보했습니다.
5월 23일0
RedditAI 번역요약
LLM들이 플레이하는 One Night Werewolf
LLM 모델들이 'One Night Werewolf' 게임을 플레이할 수 있도록 프롬프트와 도구 호출 시스템을 구축한 실험 사례입니다. 모델의 정체성 유지 문제와 전략적 사고를 위한 프롬프트 개선 과정을 다룹니다.
5월 22일1
RedditAI 번역요약
ml-intern과 DeepSeek v4 Flash를 사용하여 브라우저에서 실행되는 프롬프트 인젝션 탐지기 학습
ml-intern 에이전트와 DeepSeek v4 Flash를 활용하여 브라우저용 프롬프트 인젝션 탐지 모델을 구축한 사례입니다. DistilBERT를 기반으로 합성 데이터셋을 학습시켜 F1 99%의 성능을 달성했으며, Transformers.js를 통해 클라이언트 측 실행을 구현했습니다.
5월 22일1
RedditAI 번역요약
Qwen3.6 35Ba3가 나의 워크플로우와 컴퓨터 사용 방식까지 바꾸어 놓았다
Qwen3.6 모델과 pi 에이전트를 활용하여 복잡한 개발 및 운영 작업을 자동화하는 워크플로우를 소개합니다. 메인 에이전트가 여러 개의 휘발성 하위 에이전트를 관리하며 작업을 분담하는 '매니저-직원' 구조의 에이전트 오케스트레이션 방식을 다룹니다.
5월 21일1
RedditAI 번역요약
'OpenAI 호환인가요?' - 오픈 소스 AI의 통합 API 시그니처를 위한 도구 및 문서
vLLM, llama.cpp 등 주요 오픈 소스 AI 엔진들의 OpenAI 호환성 준수 여부를 확인할 수 있는 도구와 문서를 소개합니다. 다양한 모델 유형에 따른 API 시그니처 차이를 정리하여 AI 엔드포인트를 앱에 쉽게 연결할 수 있도록 돕습니다.
5월 21일1
RedditAI 번역요약
재미와 이익을 위해 텍스트 모델에 비전 기능을 이식하기
llama.cpp 환경에서 텍스트 전용 모델에 비전 기능을 통합하는 실험적인 방법을 다룹니다. Mistral의 Pixtral 인코더를 활용하여 기존 모델의 토크나이저에 포함된 이미지 관련 토큰을 수정함으로써, 모델이 이미지를 올바르게 인식하도록 만드는 과정을 설명합니다.
5월 21일1
RedditAI 번역요약
Qwen 3.6-27B가 코딩한 효율적인 Hugging Face 모델 검색 유틸리티
Hugging Face의 제한적인 검색 기능을 보완하기 위해 Qwen 3.6-27B를 활용하여 개발한 효율적인 모델 검색 유틸리티를 소개합니다. 이 도구는 날짜 범위, 파라미터 수, 저자별 정렬 기능을 제공하며, API 호출을 최적화하여 캐싱하는 단일 HTML 파일 형태의 웹 앱입니다.
5월 20일2
RedditAI 번역요약
현대적 LLM 컴파일러 스택 개요: 대화형 및 해킹 가능한 컴파일러 작성하기
본 글은 라이브러리 없이 순수 Python과 raw CUDA만을 사용하여 바닥부터 구축한 소규모 ML 컴파일러 스택의 설계 과정을 다룹니다. Transformer 모델을 6단계의 중간 표현(IR)을 통해 CUDA 커널로 변환하는 과정을 설명하며, 실험 결과 PyTorch 프로덕션 스택에 근접하는 성능과 일부 커널에서의 압도적인 속도 향상을 입증했습니다.
5월 20일1
RedditAI 번역요약
LM Studio에 MTP Speculative Decoding 지원 추가
LM Studio의 최신 베타 버전(0.4.14 Build 2)에서 MTP Speculative Decoding 지원이 추가되었습니다. 이를 사용하려면 llama.cpp 엔진이 2.15.0 버전 이상이어야 하며, 모델 로드 시 수동 설정에서 MTP를 직접 활성화해야 합니다.
5월 20일6
RedditAI 번역요약
PrivateScribe.ai - HIPAA/법적 보호 장치를 고려하여 구축된 완전 로컬, MIT 라이선스 기반의 무료 AI 전사 서비스 -
PrivateScribe.ai는 HIPAA 준수와 개인정보 보호를 최우선으로 설계된 완전 로컬 기반의 오픈 소스 AI 전사 플랫폼입니다. FasterWhisper, pyannote, Ollama를 활용하여 데이터 유출 걱정 없이 의료, 법률, 상담 분야에서 사용할 수 있도록 구축되었습니다.
5월 20일1
RedditAI 번역요약
확장 아이디어: 커스텀 샘플러(custom samplers)를 지원하는 llama-server
llama-server에 커스텀 샘플링 로직을 직접 추가할 수 있는 확장 기능 아이디어와 프로토타입을 소개합니다. 이를 통해 사용자는 전체 코드를 포크하거나 래퍼를 만들지 않고도 루프 감지, 단계별 샘플링 파라미터 변경, 개인정보 삭제 등 실험적인 샘플링 기능을 구현할 수 있습니다.
5월 20일2
RedditAI 번역요약
llama.cpp MTP 지원 도입 - Strix Halo에서 Qwen3.6 27B 2.44배, RTX 3090 시스템에서 2.17배 성능 달성
llama.cpp 메인라인에 MTP(Multi-Token Prediction) 기반의 투기적 디코딩 기능이 도입되었습니다. 벤치마크 결과, Strix Halo와 RTX 3090 시스템에서 Qwen3.6 27B 모델을 사용할 때 최대 2.44배의 성능 향상을 기록했습니다.
5월 19일1
RedditAI 번역요약
공개 저장소 "Codegraph", Claude, Cursor, Codex, OpenCode API 도구 호출을 로컬에서 94%까지 줄인다고
Colby McHenry가 개발한 'Codegraph'는 사전 인덱싱된 지식 그래프를 활용하여 AI 에이전트의 코드베이스 탐색 효율을 극대화하는 도구입니다. 심볼 관계와 호출 그래프를 사용하여 파일을 직접 스캔하는 대신 그래프를 쿼리함으로써, API 도구 호출 횟수를 최대 94% 줄이고 처리 속도를 대폭 향상시켰습니다.
5월 19일1
RedditAI 번역요약
KV 캐시 양자화(Quantization) 벤치마크 결과: TurboQuant는 과대평가되었으나 TCQ로 구제됨, q5는 더 주목받아야 하며
RTX 3090 환경에서 Qwen 3.6 27B 모델을 대상으로 KV 캐시 양자화 성능을 PPL과 KLD 지표로 분석한 벤치마크 결과입니다. 분석 결과, PPL은 양자화 손실을 과소평가하는 경향이 있어 도구 호출이나 JSON 구조 유지에 중요한 99.9% KLD 지표를 확인하는 것이 필수적임을 강조합니다.
5월 19일1
RedditAI 번역요약
기능적이고 관절이 있는 부품을 가진 3D 객체를 생성하기 위해 제가 만든 도구. GitHub에 공개되어 있으며, 대부분의 LLM에 구애받지
기존의 text-to-3D 방식이 단순한 메쉬 덩어리를 생성하는 한계를 극복하기 위해, LLM을 구조화된 코드 컴파일러로 활용하여 기능적 부품과 관절을 가진 3D 객체를 생성하는 도구인 Nova3D를 소개합니다. 이 파이프라인은 Blender Python 코드를 생성하여 씬 그래프를 직접 조작함으로써, 변환 노드와 피벗 축이 보존된 정교한 다중 부품 GLB 파일을 출력합니다.
5월 19일3
RedditAI 번역요약
Llama.cpp 및 MTP를 활성화한 4개의 Nvidia RTX A4000 (각 16GB) 환경에서의 Qwen 3.6 27B Q8 구동
4개의 Nvidia RTX A4000(각 16GB) 환경에서 Llama.cpp와 MTP를 활용하여 Qwen 3.6 27B Q8 모델을 구동한 실험 결과입니다. MTP 활성화 시 추론 시 약 45 t/s, 코딩 시 60 t/s 이상의 성능을 보여주며, MoE 모델의 경우 레이어 분할 모드를 통해 높은 토큰 생성 속도를 달성할 수 있음을 확인했습니다.
5월 19일1
RedditAI 번역요약
LLaMA.cpp + TurboQuant 환경에서 Qwen을 위한 Multi-Token Prediction (MTP) 구현
LLaMA.cpp와 TurboQuant 환경에서 Qwen 모델을 위한 Multi-Token Prediction(MTP) 기술을 구현하여 추론 성능을 대폭 향상시켰습니다. MacBook Pro M5 Max 환경에서 테스트한 결과, 초당 토큰 생성 속도가 21 tokens/s에서 34 tokens/s로 약 40% 증가하였으며 90%의 높은 수락률을 기록했습니다.
5월 19일1
RedditAI 번역요약
Lemonade v10.5.1: Strix Halo를 위한 MTP + ROCm 7.13 빠른 시작 가이드
Lemonade v10.5.1 업데이트를 통해 Strix Halo를 위한 MTP 및 ROCm 7.13 지원이 추가되었습니다. 이번 릴리스에는 Qwen3.6-27B-MTP-GGUF 모델 가져오기 기능과 Fedora 43 지원 관련 수정 사항이 포함되어 있습니다.
5월 19일1
RedditAI 번역요약
GitHub - pwilkin/openmoss: GGML 기반의 OpenMOSS 순수 C++ 파이프라인
OpenMOSS TTS 모델을 위한 GGML 기반의 순수 C++ 파이프라인을 공개합니다. 복잡한 Python 생태계 설정 없이도 사용할 수 있도록 서버 모드와 단일 실행 CLI 모드를 모두 지원하여 사용 편의성을 높였습니다.
5월 19일1
RedditAI 번역요약
조직 전체에 적용 중인 단순한 멀티 에이전트 (Multi-Agent) 아키텍처: 모든 것을 루프 (Loop) 안에 유지하기
조직 규모의 에이전트 운영을 위해 설계된 단순화된 멀티 에이전트 아키텍처를 소개합니다. LangGraph, CrewAI, Harbor를 활용하여 목표 설정, 작업 조정, 보안 및 추적 문제를 해결하며, 링 기반 프로토콜을 통해 에이전트의 계층적 역할과 메시지 라우팅을 관리합니다.
5월 19일1