Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
GitHubAI 번역요약
AI 에이전트, LLM 프레임워크 및 코딩 도구를 위한 203개의 심층 튜토리얼
AI 에이전트, LLM 프레임워크 및 코딩 도구의 내부 작동 원리를 심층적으로 다루는 203개의 튜토리얼 모음입니다. 단순 사용법을 넘어 아키텍처, 코드 워크스루, 프로덕션급 패턴을 8단계 구조로 상세히 설명합니다.
5월 27일3
GitHubAI 번역요약
ahammadmejbah/Awesome-Datasets-Hub
ahammadmejbah/Awesome-Datasets-Hub는 대규모 언어 모델(LLMs) 학습 및 평가를 위한 엄선된 데이터셋 컬렉션 저장소입니다. 의료 AI, NLP, 멀티모달 학습, 인스트럭션 튜닝, 추론, 코드 생성 등 다양한 분야의 데이터셋과 벤치마크를 포함하고 있습니다.
5월 19일3
GitHubAI 번역요약
MMMU-Benchmark/MMMU
MMMU는 전문가 수준의 AGI 달성을 목표로 하는 대규모 다학제 멀티모달 이해 및 추론 벤치마크입니다. 이 저장소는 관련 논문의 평가를 위한 Python 기반의 코드를 제공합니다.
5월 19일8
GitHubAI 번역요약
그래프 증강 기술을 활용한 독일 법률 텍스트 분석 및 RAG 시스템 구축
독일 법률 텍스트 분석을 위해 지식 그래프(Knowledge Graph)와 RAG 시스템을 결합한 프로젝트입니다. 법률 도메인의 특수성을 반영하기 위해 의미론적 텍스트 분할과 네트워크 이론을 활용하여 언어 모델의 응답 정확도와 문맥 이해도를 높이는 데 집중합니다.
5월 18일1
GitHubAI 번역요약
Time-MoE/Time-MoE
Time-MoE는 Mixture-of-Experts (MoE) 아키텍처 기반의 디코더 전용 시계열 파운데이션 모델 제품군입니다. 이 모델은 자기회귀 방식으로 작동하며, 최대 4096의 컨텍스트 길이와 임의의 예측 지평을 가진 범용적인 시계열 예측이 가능합니다. 또한, Time-300B는 9개 이상의 도메인에 걸쳐 3천억 개 이상의 타임 포인트를 포함하는 대규모 오픈 액세스 시계열 데이터 컬렉션으로 제공됩니다.
5월 15일3
GitHubAI 번역요약
drawbridge/keras-mmoe
본 저장소는 TensorFlow Keras를 활용하여 Multi-gate Mixture-of-Experts (MMoE) 모델을 구현한 코드입니다. UCI의 census-income 데이터셋을 사용한 실행 데모 예시가 제공되며, 코드는 문서화되어 있어 확장성이 높습니다. 이 프로젝트는 Emin Orhan의 연구를 기반으로 하며, 사용자들은 다양한 벤치마크 개선, 다른 프레임워크(PyTorch, MXNet)로 재작성, 또는 정확도 향상 등의 방식으로 기여할 수 있습니다.
5월 15일2
GitHubAI 번역요약
mechramc/Orion
mechramc/Orion은 Apple Silicon(M 시리즈) 의 Apple Neural Engine(ANE) 을 직접 활용하여 작은 규모의 LLM 을 온디바이스에서 학습 및 추론할 수 있는 오픈소스 런타임입니다. CoreML 이나 Metal 과 같은 외부 프레임워크 없이 순수하게 ANE 하드웨어를 타겟팅한 프로젝트로, 오프라인 환경에서도 로컬 모델 개발이 가능합니다.
4월 25일8
GitHubAI 번역요약
psmarter/mini-infer:从零构建的 LLM 推理引擎
GitHub 레포지토리 psmarter/mini-infer 는 PyTorch 기반의 완전한 LLM 추론 엔진입니다. 페이지드 KV 캐시, 컨티뉴어스 배치, 스펙ulative decoding, CUDA graph 등 최신 최적화 기법들을 모두 구현하여 오픈소스 커뮤니티에서 주목받고 있습니다.
4월 25일7
GitHubAI 번역요약
alibaba/MNN
TL;DR 알리바바에서 검증된 초고속 경량 추론 엔진 MNN 이 공개되었습니다. C++ 기반의 이 엔진은 ARM, Vulkan, Winograd 알고리즘 등을 지원하여 모바일 및 임베디드 기기에서 고성능 딥러닝 모델(특히 LLM) 을 실행할 수 있습니다. 기존 TensorFlow Lite 나 ONNX Runtime 과 대안으로 주목받고 있으며, 리소스 제약이 있는 환경에서도 효율적인 추론을 가능하게 합니다.
4월 25일6
GitHubAI 번역요약
대규모 LLM 추론 엔진 Aphrodite Engine 소개
Aphrodite Engine은 대규모 언어 모델(LLM) 추론을 위한 고성능 C++ 기반 오픈소스 엔진입니다. 이 프로젝트는 NVIDIA CUDA, AMD ROCm, Google TPU 등 다양한 하드웨어 가속기를 지원하며, Intel Inferentia와 같은 전용 칩셋도 포함합니다. LoRA(저랭크 어댑터) 및 추측적 디코딩(Speculative Decoding)과 같은 최신 최적화 기법을 내장하여 추론 속도를 극대화하고 있습니다.
4월 25일6
GitHubAI 번역요약
Rust 기반 데이터 연동형 AI 엔진 SpiceAI 소개
SpiceAI 는 데이터 기반 AI 애플리케이션과 에이전트를 위한 가용성 높은 SQL 쿼리, 검색 및 LLM 추론 엔진입니다. Rust 로 작성되어 성능과 효율성을 극대화하며, 외부 데이터 소스를 실시간으로 인메모리 캐싱하여 지연 시간을 획기적으로 줄입니다. 복잡한 데이터 연동 없이도 LLM 에 최신 정보를 제공하여 '데이터 그라운디드 AI' 구축을 가능하게 합니다.
4월 25일8