Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
GitHubAI 번역요약
Protein-Vec 사용 방법 안내
본 문서는 Protein-Vec 모델을 활용하여 단백질 데이터를 인코딩하고 검색하는 방법을 안내합니다. 필요한 패키지 설치부터 모델 및 데이터베이스 다운로드, 그리고 최종적으로 튜토리얼 노트북(gh_encode_and_search_new_proteins.ipynb)을 통해 실제 사용 과정을 단계별로 설명합니다.
10월 7일2
GitHubAI 번역요약
vkblam: vulkan 기반 Halo 1 blam 엔진 그래픽 라이브러리 재구현
vkblam은 Halo 1 blam 엔진의 그래픽 라이브러리를 Vulkan으로 재구현한 프로젝트입니다. 현재는 실험적인 단계로 정적 이미지 생성에 초점을 맞추고 있으며, 사용을 위해서는 공식 Vulkan SDK 설치가 필수적입니다.
10월 7일1
GitHubAI 번역요약
ManiSkill: 로봇 시뮬레이션 및 훈련을 위한 오픈소스 프레임워크
ManiSkill은 로봇 시뮬레이션 및 훈련을 위한 오픈소스 프레임워크입니다. GPU 병렬화된 비전 데이터 수집, 높은 처리량의 상태 기반 합성 데이터 수집 등 강력한 기능을 제공합니다. 강화학습(RL)부터 VLA 모델까지 다양한 학습 베이스라인을 지원하며, Sim2real 환경 구축에 용이합니다.
10월 7일1
GitHubAI 번역요약
AndroLLM: Android용 온디바이스 AI 플랫폼
AndroLLM은 Android 환경에서 온디바이스 AI 기능을 구현한 프로덕션급 플랫폼입니다. LiteRT-LM 런타임과 `.litertlm` 모델을 사용하여 클라우드 의존성 없이 로컬 LLM 추론, GPU 가속, 영구 메모리 기반 대화 기억 등을 지원합니다. 이를 통해 완전 오프라인의 음성 비서 및 AI 에이전트 기능을 제공합니다.
10월 6일1
GitHubAI 번역요약
fastvideo/gpu-camera-sample
이 레포지토리는 실시간 머신 비전 카메라 애플리케이션을 위한 GPU 기반 이미지 처리 소프트웨어를 제공합니다. Windows, Linux, ARM 환경에서 작동하며, CUDA를 활용하여 16비트 ISP의 RAW2RGB 처리를 지원합니다. Jetson용 소프트웨어와 성능 측정 기능도 포함하고 있습니다.
9월 28일1
GitHubAI 번역요약
FareedKhan-dev/glm-5.2-in-c
7,440억 개의 파라미터를 가진 MoE 모델인 GLM-5.2를 순수 C 기반 추론 엔진으로 구현했습니다. int4 양자화와 전문가 스트리밍 방식을 적용하여 단 16GB RAM만으로 구동 가능하며, 이를 통해 효율적인 LLM 배포 및 벤치마킹이 가능합니다.
9월 27일1
GitHub요약
jaeseok614/llm-gpu-checker-ko
본 오픈소스 계산기는 사용자의 로컬 GPU 환경이나 원하는 AI 모델을 기반으로 필요한 인프라와 비용을 비교 분석할 수 있는 웹 도구입니다. RAG, 챗봇 등 다양한 AI 서비스 시나리오에 맞춰 API 비용과 TCO(총 소유 비용)를 추정하고 최적의 GPU 구성을 제안합니다.
9월 23일1
GitHubAI 번역요약
NVIDIA/TensorRT-RTX
TensorRT for RTX는 NVIDIA TensorRT의 성능을 활용하여 데스크톱 및 노트북의 RTX GPU에 AI 모델 배포를 간소화하는 라이브러리입니다. 런타임 JIT 최적화기를 도입해 사전 컴파일 없이도 빠른 엔진 생성과 높은 추론 성능을 제공하며, 크기가 작아 다양한 환경에 적용 가능합니다.
9월 20일2
GitHubAI 번역요약
jjang-ai/jangq
HuggingFace 모델을 macOS 전용 JANG 및 JANGTQ 형식으로 변환하는 네이티브 위저드 도구입니다. Apple Silicon의 MLX 환경에서 대규모 모델을 효율적으로 양자화하고 구동할 수 있도록 최적화된 워크플로우를 제공합니다.
6월 30일1
GitHubAI 번역요약
intel/neural-compressor
Intel Neural Compressor는 PyTorch, TensorFlow, JAX 등 주요 프레임워크를 지원하는 오픈 소스 모델 압축 라이브러리입니다. 양자화, 혼합 정밀도 등 다양한 기술을 통해 LLM 및 VLM의 효율적인 배포를 지원합니다.
6월 23일1
GitHubAI 번역요약
ModelCloud/GPTQModel
GPTQModel은 다양한 하드웨어 가속을 지원하는 LLM 양자화 및 압축 툴킷입니다. NVIDIA CUDA, AMD ROCm, Huawei Ascend NPU 등 광범위한 하드웨어 지원과 함께 최신 모델들에 대한 지속적인 업데이트를 제공합니다.
6월 21일1
GitHubAI 번역요약
Lyrcaxis/KokoroSharp
KokoroSharp은 ONNX Runtime을 기반으로 구축된 C#용 Kokoro TTS 추론 엔진입니다. NuGet 패키지를 통해 간편하게 통합할 수 있으며, 다양한 언어와 화자를 지원하는 고성능 텍스트 음성 변환 기능을 제공합니다.
6월 20일1
GitHubAI 번역요약
PacifAIst/Quansloth
Quansloth는 Google의 TurboQuant 기술을 활용하여 로컬 LLM 추론 시 VRAM 사용량을 최대 75%까지 절감하는 오픈소스 프로젝트입니다. 저사양 GPU에서도 대규모 컨텍스트를 안정적으로 처리할 수 있도록 KV 캐시 압축 기술과 최적화된 CUDA 백엔드를 제공합니다.
6월 17일1
GitHubAI 번역요약
NSTiwari/YOLOv10-LiteRT-Android
YOLOv10 모델을 Google AI Edge의 LiteRT(.tflite)로 변환하여 Android 기기에서 실시간 온디바이스 객체 탐지를 구현하는 방법을 설명합니다. PyTorch에서 ONNX를 거쳐 TFLite로 변환하는 전체 파이프라인과 Android 앱에서의 추론 및 시각화 과정을 다룹니다.
6월 16일1
GitHubAI 번역요약
RAG를 넘어서: 문서 전체를 당신의 노트북에서 로드하세요
KV 압축 기술을 통해 소비자용 하드웨어에서도 대규모 컨텍스트를 처리할 수 있게 하는 quantcpp 라이브러리를 소개합니다. 6.4배의 KV 압축을 통해 메모리 사용량을 획기적으로 줄이면서도 FP32 수준의 품질을 유지합니다.
6월 15일1
GitHubAI 번역요약
pmetal: Rust로 작성된 Apple Silicon용 ML SDK, 프레임워크 및 애플리케이션 제품군
pmetal은 Rust로 작성된 Apple Silicon 전용 머신러닝 플랫폼으로, Metal GPU와 Apple Neural Engine(ANE)을 활용합니다. GUI와 TUI를 모두 지원하며 모델 학습, 추론, 양자화, 지식 증류 등 통합적인 ML 워크플로우를 제공합니다.
6월 15일1
GitHubAI 번역요약
timtoole02/Camelid
Camelid는 Rust로 구현된 네이티브 로컬 LLM 추론 엔진으로, GGUF 모델을 직접 로드하여 OpenAI 스타일의 API를 제공합니다. Python 의존성 없이 단일 정적 바이너리로 동작하며, Metal GPU 가속과 엄격한 토큰 단위 일치성 검증을 특징으로 합니다.
6월 14일1
GitHubAI 번역요약
NVIDIA Model-Optimizer
NVIDIA Model Optimizer(ModelOpt)는 양자화, 가지치기, 증류 등 최첨단 기술을 통해 AI 모델을 가속화하는 라이브러리입니다. Hugging Face, PyTorch와 호환되며 TensorRT-LLM, vLLM 등 추론 프레임워크로의 원활한 배포를 지원합니다.
5월 29일2
GitHubAI 번역요약
aerlabsAI/ai-inference-resources
LLM 추론 시스템 최적화를 위한 핵심 리소스를 큐레이션한 자료입니다. 서빙 엔진 비교, GPU 커널, 양자화, MoE 모델 분석 및 비용 절감 전략 등 엔지니어링 관점의 심도 있는 주제들을 다룹니다.
5월 25일2
GitHubAI 번역요약
molyswu/hand_detection
Tensorflow의 Object Detection API와 SSD 신경망을 사용하여 1인칭 시점(egocentric view)의 손을 탐지하는 기술 가이드입니다. Egohands 데이터셋을 활용하여 실시간 웹캠 및 유튜브 영상에서 손을 추적하는 방법과 코드를 제공합니다.
5월 23일0