Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
GitHubAI 번역요약
chili-chips-ba/openCologne-PCIE
PCIe 엔드포인트를 위한 최초의 오픈소스 소프트 코어 프로젝트입니다. 벤더 종속적인 하드 매크로 없이 데이터 링크, 트랜잭션, 애플리케이션 계층을 지원하며 표준 PIPE 인터페이스를 제공합니다.
7월 4일0
GitHubAI 번역요약
SNU-ARC/any-precision-llm
Any-precision LLM은 다양한 비트 너비로 양자화된 여러 LLM을 단일 모델의 메모리 공간에 중첩하여 배포하는 효율적인 솔루션입니다. incremental upscaling 기술과 비트플레인 기반의 커스텀 CUDA 커널을 통해 메모리 점유 공간과 비용을 획기적으로 절감합니다.
7월 1일0
GitHubAI 번역요약
jjang-ai/jangq
HuggingFace 모델을 macOS 전용 JANG 및 JANGTQ 형식으로 변환하는 네이티브 위저드 도구입니다. Apple Silicon의 MLX 환경에서 대규모 모델을 효율적으로 양자화하고 구동할 수 있도록 최적화된 워크플로우를 제공합니다.
6월 30일0
GitHubAI 번역요약
intel/neural-compressor
Intel Neural Compressor는 PyTorch, TensorFlow, JAX 등 주요 프레임워크를 지원하는 오픈 소스 모델 압축 라이브러리입니다. 양자화, 혼합 정밀도 등 다양한 기술을 통해 LLM 및 VLM의 효율적인 배포를 지원합니다.
6월 23일0
GitHubAI 번역요약
ModelCloud/GPTQModel
GPTQModel은 다양한 하드웨어 가속을 지원하는 LLM 양자화 및 압축 툴킷입니다. NVIDIA CUDA, AMD ROCm, Huawei Ascend NPU 등 광범위한 하드웨어 지원과 함께 최신 모델들에 대한 지속적인 업데이트를 제공합니다.
6월 21일0
GitHubAI 번역요약
가산 양자화(Additive Quantization)를 통한 대규모 언어 모델(LLM)의 극한 압축을 위한 공식 PyTorch 구현체
가산 양자화(AQLM)를 통해 LLM을 극한으로 압축하는 공식 PyTorch 구현체와 PV-tuning 알고리즘을 소개합니다. 1비트 수준의 초저비트 양자화에서도 높은 정확도를 유지하며, Llama 및 Mistral 모델군에 적용 가능합니다.
6월 20일0
GitHubAI 번역요약
Lyrcaxis/KokoroSharp
KokoroSharp은 ONNX Runtime을 기반으로 구축된 C#용 Kokoro TTS 추론 엔진입니다. NuGet 패키지를 통해 간편하게 통합할 수 있으며, 다양한 언어와 화자를 지원하는 고성능 텍스트 음성 변환 기능을 제공합니다.
6월 20일0
GitHubAI 번역요약
PacifAIst/Quansloth
Quansloth는 Google의 TurboQuant 기술을 활용하여 로컬 LLM 추론 시 VRAM 사용량을 최대 75%까지 절감하는 오픈소스 프로젝트입니다. 저사양 GPU에서도 대규모 컨텍스트를 안정적으로 처리할 수 있도록 KV 캐시 압축 기술과 최적화된 CUDA 백엔드를 제공합니다.
6월 17일0
GitHubAI 번역요약
NSTiwari/YOLOv10-LiteRT-Android
YOLOv10 모델을 Google AI Edge의 LiteRT(.tflite)로 변환하여 Android 기기에서 실시간 온디바이스 객체 탐지를 구현하는 방법을 설명합니다. PyTorch에서 ONNX를 거쳐 TFLite로 변환하는 전체 파이프라인과 Android 앱에서의 추론 및 시각화 과정을 다룹니다.
6월 16일0
GitHubAI 번역요약
RAG를 넘어서: 문서 전체를 당신의 노트북에서 로드하세요
KV 압축 기술을 통해 소비자용 하드웨어에서도 대규모 컨텍스트를 처리할 수 있게 하는 quantcpp 라이브러리를 소개합니다. 6.4배의 KV 압축을 통해 메모리 사용량을 획기적으로 줄이면서도 FP32 수준의 품질을 유지합니다.
6월 15일0
GitHubAI 번역요약
pmetal: Rust로 작성된 Apple Silicon용 ML SDK, 프레임워크 및 애플리케이션 제품군
pmetal은 Rust로 작성된 Apple Silicon 전용 머신러닝 플랫폼으로, Metal GPU와 Apple Neural Engine(ANE)을 활용합니다. GUI와 TUI를 모두 지원하며 모델 학습, 추론, 양자화, 지식 증류 등 통합적인 ML 워크플로우를 제공합니다.
6월 15일0
GitHubAI 번역요약
timtoole02/Camelid
Camelid는 Rust로 구현된 네이티브 로컬 LLM 추론 엔진으로, GGUF 모델을 직접 로드하여 OpenAI 스타일의 API를 제공합니다. Python 의존성 없이 단일 정적 바이너리로 동작하며, Metal GPU 가속과 엄격한 토큰 단위 일치성 검증을 특징으로 합니다.
6월 14일0
GitHubAI 번역요약
UNITES-Lab/MoE-Quantization
MoE 모델의 효율적인 확장을 방해하는 메모리 오버헤드를 해결하기 위해 구조 인식 양자화(Structure-aware quantization)를 연구합니다. MoE의 고유한 희소성을 고려하여 블록, 전문가, 선형 레이어별로 최적의 비트 할당 방식을 제안합니다.
5월 30일0
GitHubAI 번역요약
NVIDIA Model-Optimizer
NVIDIA Model Optimizer(ModelOpt)는 양자화, 가지치기, 증류 등 최첨단 기술을 통해 AI 모델을 가속화하는 라이브러리입니다. Hugging Face, PyTorch와 호환되며 TensorRT-LLM, vLLM 등 추론 프레임워크로의 원활한 배포를 지원합니다.
5월 29일1
GitHubAI 번역요약
intel/neural-speed
Intel의 Neural Speed는 Intel 플랫폼에서 LLM의 효율적인 추론을 지원하기 위해 설계된 저비트 양자화 라이브러리입니다. llama.cpp에서 영감을 받아 Intel CPU의 ISA(AMX, AVX512 등)에 최적화되었으며, 특정 모델에서 최대 40배의 성능 향상을 제공합니다.
5월 29일1
GitHubAI 번역요약
andrewboutros/rad-flow
RAD-Flow는 FPGA를 넘어선 재구성 가능한 가속 장치를 위한 아키텍처 및 애플리케이션 공동 설계 도구입니다. RAD-Sim 시뮬레이터를 기반으로 하며, Intel과 VMWare 등의 지원을 받는 연구 프로젝트입니다.
5월 26일1
GitHubAI 번역요약
adilsondias-engineer/fpga-trading-systems
저지연 고빈도 매매(HFT)를 위한 프로덕션급 FPGA 트레이딩 시스템 오픈소스 프로젝트입니다. VHDL 기반의 10G PHY와 NASDAQ ITCH 5.0 오더북 구현, C++ DPDK/XDP 커널 바이패스 기술을 포함합니다.
5월 25일1
GitHubAI 번역요약
aerlabsAI/ai-inference-resources
LLM 추론 시스템 최적화를 위한 핵심 리소스를 큐레이션한 자료입니다. 서빙 엔진 비교, GPU 커널, 양자화, MoE 모델 분석 및 비용 절감 전략 등 엔지니어링 관점의 심도 있는 주제들을 다룹니다.
5월 25일1
GitHubAI 번역요약
molyswu/hand_detection
Tensorflow의 Object Detection API와 SSD 신경망을 사용하여 1인칭 시점(egocentric view)의 손을 탐지하는 기술 가이드입니다. Egohands 데이터셋을 활용하여 실시간 웹캠 및 유튜브 영상에서 손을 추적하는 방법과 코드를 제공합니다.
5월 23일0
GitHubAI 번역요약
matthiasn/lotti
Lotti는 로컬 에이전틱 레이어를 갖춘 오픈 소스 개인 로그북입니다. 지속적으로 실행되는 AI 에이전트가 사용자의 기록을 분석하여 다음 할 일을 제안하며, 개인정보 보호를 위해 로컬 실행 및 종단간 암호화를 지원합니다.
5월 22일1