Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.
본 프로젝트는 수학적 발견을 AI 시스템의 핵심 파트너로 활용하는 새로운 패러다임을 제시합니다. 13가지 이국적인 수학 구조를 탐구하며, JAX 기반의 연구용 데모와 PyTorch 기반의 프로덕션 트랜스포머(Nanochat) 두 가지 방식으로 구현 전략을 제공합니다.
DeepSpot은 H&E(Hematoxylin and Eosin) 이미지와 같은 조직학적 이미지를 활용하여 공간 전사체학(spatial transcriptomics) 데이터를 예측하는 모델입니다. 이 기술은 사용자가 별도의 GPU 없이도 가상 공간 전사체학을 수행할 수 있는 Aurora 플랫폼과 연계되어 연구에 활용됩니다.
NeuralForge는 PyTorch 기반의 딥러닝 실험 재현성을 높이기 위한 모듈형 오케스트레이션 프레임워크입니다. 이 도구는 모든 실험을 계약(contract)으로 간주하고, 설정 파일과 플러그형 모듈들을 결합하여 구조화된 방식으로 관리합니다. 이를 통해 연구 과정의 추적성과 체계적인 관리가 가능해집니다.
TorchScale은 연구원과 개발자가 Transformer 기반의 기초 모델(foundation models) 및 AGI를 효율적으로 확장할 수 있도록 설계된 PyTorch 라이브러리입니다. 이 라이브러리는 안정성, 일반성, 역량, 효율성에 초점을 맞추어 DeepNet, Foundation Transformers 등 다양한 최신 아키텍처 구현을 지원합니다. 최근에는 LongNet 및 RetNet과 같은 혁신적인 모델 구조가 추가되어 대규모 언어 모델 개발에 활용되고 있습니다.
본 기사는 'BitNet'이라는 기술을 소개하며, 대규모 언어 모델(LLM)의 트랜스포머 레이어에 1비트 양자화된 선형 변환(BitLinear)을 적용하는 방법을 다룹니다. 이는 기존 nn.Linear 모듈을 BitLinear로 교체하여 구현할 수 있으며, Multi Grouped Query Attention (BitMGQA) 등 최적화가 이루어졌습니다.
Mamba Transformer는 SSM(State Space Models)과 Attention 메커니즘의 장점을 결합한 새로운 고급 아키텍처입니다. 이 구조는 기존 트랜스포머의 한계를 극복하여 더 빠른 처리 속도, 긴 컨텍스트 길이, 그리고 낮은 퍼플렉서티를 제공합니다.
이 가이드는 사용자가 직접 조작하며 AI의 핵심 원리를 배울 수 있는 데스크톱 앱입니다. 51개의 소규모 실습을 통해 뉴런 작동, 트랜스포머 어텐션 메커니즘, 역전파 과정 등을 시각적으로 체험할 수 있습니다. 설치 없이 브라우저에서 접근 가능하여 누구나 AI 개념을 쉽게 이해하도록 설계되었습니다.
Z80-μLM은 64kb RAM의 Z80 프로세서 환경에서 구동되는 초소형 대화형 AI 모델입니다. 양자화 인식 훈련(QAT)과 2비트 가중치 양자화를 활용하여, 고성능 하드웨어 없이도 개성을 유지하며 작동하는 것이 핵심입니다. 이 프로젝트는 레트로 컴퓨팅 환경에 LLM 기술을 접목한 연구 사례를 제시합니다.
Atome LM은 마이크로컨트롤러(MCU)급 RAM 환경에 최적화된 초소형 언어 모델입니다. 테너리 가중치, 희소 어텐션, 로컬 컨볼루션을 결합한 60K 기본 매개변수 오픈 키트를 제공하며, Python에서 C99 추론 엔진을 거쳐 실제 ESP32-WROOM-32 같은 물리적 실리콘에서도 구동됨을 입증했습니다.
OpenEvals는 대규모 언어 모델(LLM)의 성능을 체계적으로 평가하기 위해 개발된 오픈 소스 프레임워크입니다. MMLU, GSM8K 등 다양한 학술 벤치마크를 지원하며, 단순히 정확도뿐만 아니라 지연 시간, 처리량 같은 계산 효율성까지 측정할 수 있습니다. 이를 통해 모델 간의 객관적이고 심층적인 비교가 가능합니다.
Paris는 분산 컴퓨팅을 통해 학습된 오픈 웨이트 확산 모델입니다. 이 모델은 8개의 독립적인 전문가 확산 모델로 구성되어 있으며, 노드 간 동기화 없이 완전한 격리 상태에서 학습되었습니다. 이를 통해 기존 방식 대비 데이터와 컴퓨팅 자원을 대폭 절감하면서도 우수한 생성 품질을 유지합니다.
Magenta RealTime 2 (MRT2)는 실시간 음악 생성을 위한 최첨단 오픈-웨이트 모델입니다. 이 프로젝트는 오픈-웨이트 모델, JAX/MLX 기반 Python 라이브러리, 그리고 Apple Silicon용 C++ 추론 엔진을 포함합니다. 사용자는 이를 활용하여 추론 실행, DAW 플러그인 구축 등 다양한 애플리케이션에 임베드할 수 있습니다.
BenchMARL은 다양한 MARL 알고리즘 및 환경에 걸쳐 재현성과 벤치마킹을 가능하게 하는 다중 에이전트 강화학습(MARL) 학습 라이브러리입니다. 이 라이브러리는 새로운 알고리즘과 환경의 쉬운 통합을 위한 표준화된 인터페이스를 제공하여 연구자들이 모델 비교 및 검증에 집중할 수 있도록 돕습니다.
본 문서는 PyTorch 환경에서 계층적 메타 강화 학습(Hierarchical Meta Reinforcement Learning)을 구현한 내용을 다룹니다. 이 코드는 MAML과 SAC 같은 최신 RL 기법들을 활용하여 HalfCheetahDir 등의 환경에서 실험할 수 있도록 구성되어 있습니다. 사용자는 가상 환경 설정 및 `main.py` 스크립트를 통해 다양한 하이퍼파라미터로 강화 학습 실험을 수행할 수 있습니다.
Decision Transformer를 활용한 강화학습 구현 코드를 제공하며, OpenAI gym의 mujoco 제어 작업에 적용할 수 있습니다. 이 구현체는 GPT 기반의 인과적 트랜스포머 구조와 PyTorch Dataset/Dataloader를 사용하여 효율적인 학습을 수행합니다. Google Colab에서 직접 훈련 및 시각화가 가능하여 연구 목적으로 활용하기 좋습니다.
본 문서는 딥 강화학습(Deep Reinforcement Learning)을 활용하여 로봇 그리핑 작업을 수행하는 방법을 다룹니다. SAC, BDQ, DQN 등의 알고리즘과 통합 커리큘럼 학습 기반의 환경 설정을 통해 모델을 훈련하고 다양한 도메인에서 테스트할 수 있습니다. 실제 사용을 위해 Anaconda 및 TensorFlow 설치 과정과 함께 모델 실행 및 훈련 스크립트 사용법이 상세히 안내되어 있습니다.
본 자료는 뇌-컴퓨터 인터페이스(BCI)에 적용된 AI(ML/DL/RL) 관련 논문들을 모아놓은 아카이브입니다. 간질 치료, 시력 회복, 마비 환자 치료 등 생의학적 응용 분야부터 비선형 동역학 시스템으로서의 뇌와 같은 이론적 개념까지 폭넓게 다룹니다. 이 목록은 최신 연구 동향을 파악하는 데 도움을 주며, 사용자들의 기여를 통해 지속적으로 업데이트될 예정입니다.
RLeXplore는 8가지 주요 본질적 보상(intrinsic reward) 알고리즘을 통합하고 표준화한 플러그앤플레이 툴킷입니다. 이 도구는 개별 구현의 어려움을 해결하고, 모듈 구성부터 계산 및 최적화까지 일관된 절차를 제공합니다. 사용자는 pip 또는 git을 통해 쉽게 설치하고 다양한 튜토리얼과 벤치마크 결과를 활용할 수 있습니다.
Stable-Baselines3의 확장 기능을 모아둔 Contrib 패키지(sb3-contrib)에 대한 소개입니다. 이 저장소는 최신 논문 기반의 강화학습(RL) 알고리즘 및 도구들을 실험적으로 제공합니다. 메인 라이브러리의 단순성을 유지하면서도, 전문적이고 복잡한 구현체들을 통합하여 사용자가 폭넓게 활용할 수 있도록 돕습니다.
Stable Baselines3 (SB3)는 PyTorch 기반의 신뢰성 높은 강화학습(RL) 알고리즘 구현 세트입니다. 이는 기존 Stable Baselines의 주요 버전으로, 연구 및 산업계에서 새로운 아이디어를 재현하고 비교하는 데 기준선(baseline)을 제공합니다. 사용자에게 RL에 대한 어느 정도의 지식이 필요하며, OpenRL Benchmark 플랫폼을 통해 상세한 성능 보고서를 확인할 수 있습니다.