Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.
Mamba Transformer는 SSM(State Space Models)과 Attention 메커니즘의 장점을 결합한 새로운 고급 아키텍처입니다. 이 구조는 기존 트랜스포머의 한계를 극복하여 더 빠른 처리 속도, 긴 컨텍스트 길이, 그리고 낮은 퍼플렉서티를 제공합니다.
이 가이드는 사용자가 직접 조작하며 AI의 핵심 원리를 배울 수 있는 데스크톱 앱입니다. 51개의 소규모 실습을 통해 뉴런 작동, 트랜스포머 어텐션 메커니즘, 역전파 과정 등을 시각적으로 체험할 수 있습니다. 설치 없이 브라우저에서 접근 가능하여 누구나 AI 개념을 쉽게 이해하도록 설계되었습니다.
TurboQuant는 데이터 비식별(data-oblivious) KV 캐시 압축기입니다. 랜덤 회전과 스칼라 Lloyd-Max 양자화기를 사용하여 KV 캐시 크기를 FP16 대비 3~4배 줄이며, 보정 데이터가 필요 없어 GPU 메모리 제약 환경에 유용합니다. 다만, 최신 하드웨어(Hopper/Blackwell)에서는 기본적으로 `--kv-cache-dtype fp8` 사용이 권장됩니다.
Nerve는 순수 C 언어로 작성된 현대적인 AI 스택 라이브러리입니다. Transformer, 온디바이스 학습, 문장 임베딩 등 거대 프레임워크가 제공하는 기능을 의존성 없이 구현했습니다. 헤더 파일 하나로 마이크로컨트롤러부터 브라우저 탭까지 이식성이 뛰어납니다.
RWKV-LM 아키텍처를 ggerganov의 ggml 포맷으로 구현한 프로젝트입니다. 이 프로젝트는 FP32, FP16 외에도 INT4, INT5, INT8 등 다양한 양자화된 추론을 지원하며, CPU에 최적화되어 긴 컨텍스트 길이에서도 효율적인 성능을 보여줍니다. C 라이브러리와 Python 래퍼를 제공하여 사용 편의성을 높였습니다.
Z80-μLM은 64kb RAM의 Z80 프로세서 환경에서 구동되는 초소형 대화형 AI 모델입니다. 양자화 인식 훈련(QAT)과 2비트 가중치 양자화를 활용하여, 고성능 하드웨어 없이도 개성을 유지하며 작동하는 것이 핵심입니다. 이 프로젝트는 레트로 컴퓨팅 환경에 LLM 기술을 접목한 연구 사례를 제시합니다.
Atome LM은 마이크로컨트롤러(MCU)급 RAM 환경에 최적화된 초소형 언어 모델입니다. 테너리 가중치, 희소 어텐션, 로컬 컨볼루션을 결합한 60K 기본 매개변수 오픈 키트를 제공하며, Python에서 C99 추론 엔진을 거쳐 실제 ESP32-WROOM-32 같은 물리적 실리콘에서도 구동됨을 입증했습니다.
이 글은 머신러닝 모델을 배포 및 실행 환경에 맞게 최적화하는 도구 모음인 TensorFlow Model Optimization Toolkit을 소개합니다. 이 툴킷은 양자화(quantization)와 가지치기(pruning) 같은 핵심 기술을 지원하며, 초보자와 숙련자 모두가 사용할 수 있는 안정적인 Python API를 제공합니다.
OpenEvals는 대규모 언어 모델(LLM)의 성능을 체계적으로 평가하기 위해 개발된 오픈 소스 프레임워크입니다. MMLU, GSM8K 등 다양한 학술 벤치마크를 지원하며, 단순히 정확도뿐만 아니라 지연 시간, 처리량 같은 계산 효율성까지 측정할 수 있습니다. 이를 통해 모델 간의 객관적이고 심층적인 비교가 가능합니다.
Paris는 분산 컴퓨팅을 통해 학습된 오픈 웨이트 확산 모델입니다. 이 모델은 8개의 독립적인 전문가 확산 모델로 구성되어 있으며, 노드 간 동기화 없이 완전한 격리 상태에서 학습되었습니다. 이를 통해 기존 방식 대비 데이터와 컴퓨팅 자원을 대폭 절감하면서도 우수한 생성 품질을 유지합니다.
Magenta RealTime 2 (MRT2)는 실시간 음악 생성을 위한 최첨단 오픈-웨이트 모델입니다. 이 프로젝트는 오픈-웨이트 모델, JAX/MLX 기반 Python 라이브러리, 그리고 Apple Silicon용 C++ 추론 엔진을 포함합니다. 사용자는 이를 활용하여 추론 실행, DAW 플러그인 구축 등 다양한 애플리케이션에 임베드할 수 있습니다.
BenchMARL은 다양한 MARL 알고리즘 및 환경에 걸쳐 재현성과 벤치마킹을 가능하게 하는 다중 에이전트 강화학습(MARL) 학습 라이브러리입니다. 이 라이브러리는 새로운 알고리즘과 환경의 쉬운 통합을 위한 표준화된 인터페이스를 제공하여 연구자들이 모델 비교 및 검증에 집중할 수 있도록 돕습니다.
Pytorch-RL-CPP는 PyTorch C++ frontend를 활용하여 개발된 강화학습(Reinforcement Learning, RL) 프레임워크입니다. Python 사용이 어려운 환경에서도 최적화되고 프로덕션 레디한 방식으로 RL을 구현할 수 있게 합니다. Arcade Learning Environment의 C++ 포트를 사용하여 다양한 DQN 알고리즘 확장 기능을 지원합니다.
본 문서는 PyTorch 환경에서 계층적 메타 강화 학습(Hierarchical Meta Reinforcement Learning)을 구현한 내용을 다룹니다. 이 코드는 MAML과 SAC 같은 최신 RL 기법들을 활용하여 HalfCheetahDir 등의 환경에서 실험할 수 있도록 구성되어 있습니다. 사용자는 가상 환경 설정 및 `main.py` 스크립트를 통해 다양한 하이퍼파라미터로 강화 학습 실험을 수행할 수 있습니다.
Decision Transformer를 활용한 강화학습 구현 코드를 제공하며, OpenAI gym의 mujoco 제어 작업에 적용할 수 있습니다. 이 구현체는 GPT 기반의 인과적 트랜스포머 구조와 PyTorch Dataset/Dataloader를 사용하여 효율적인 학습을 수행합니다. Google Colab에서 직접 훈련 및 시각화가 가능하여 연구 목적으로 활용하기 좋습니다.
본 문서는 딥 강화학습(Deep Reinforcement Learning)을 활용하여 로봇 그리핑 작업을 수행하는 방법을 다룹니다. SAC, BDQ, DQN 등의 알고리즘과 통합 커리큘럼 학습 기반의 환경 설정을 통해 모델을 훈련하고 다양한 도메인에서 테스트할 수 있습니다. 실제 사용을 위해 Anaconda 및 TensorFlow 설치 과정과 함께 모델 실행 및 훈련 스크립트 사용법이 상세히 안내되어 있습니다.
본 문서는 로봇 팔을 처음부터 훈련하는 과정을 단계별로 안내합니다. 훈련 프레임워크 구축부터 환경 학습, 강화학습(RL) 연결 및 최적화까지의 실습 과정이 포함되어 있습니다.
본 자료는 뇌-컴퓨터 인터페이스(BCI)에 적용된 AI(ML/DL/RL) 관련 논문들을 모아놓은 아카이브입니다. 간질 치료, 시력 회복, 마비 환자 치료 등 생의학적 응용 분야부터 비선형 동역학 시스템으로서의 뇌와 같은 이론적 개념까지 폭넓게 다룹니다. 이 목록은 최신 연구 동향을 파악하는 데 도움을 주며, 사용자들의 기여를 통해 지속적으로 업데이트될 예정입니다.
Humanoid-Gym은 Nvidia Isaac Gym을 기반으로 하는 휴머노이드 로봇 강화학습(RL) 프레임워크입니다. 이 프레임워크는 시뮬레이션에서 실제 환경으로의 제로샷 전이(zero-shot transfer)를 목표로 하며, 사용하기 쉬운 훈련 가이드와 스크립트를 제공합니다. 또한 Isaac Gym부터 Mujoco까지 Sim2Sim 파이프라인을 통합하여 정책의 견고성과 일반화 능력을 높였습니다.
RLeXplore는 8가지 주요 본질적 보상(intrinsic reward) 알고리즘을 통합하고 표준화한 플러그앤플레이 툴킷입니다. 이 도구는 개별 구현의 어려움을 해결하고, 모듈 구성부터 계산 및 최적화까지 일관된 절차를 제공합니다. 사용자는 pip 또는 git을 통해 쉽게 설치하고 다양한 튜토리얼과 벤치마크 결과를 활용할 수 있습니다.