Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
RedditAI 번역요약
구형 GPU에서 충돌 없이 실제로 실행되는 LLM 학습 프레임워크를 구축했습니다 [P]
구형 GPU(T4, V100 등)에서도 충돌 없이 실행 가능한 LLM 학습 프레임워크인 Picotron을 소개합니다. FlashAttention-2 등 하드웨어 특화 의존성을 제거하여 범용성을 높였으며, PyTorch SDPA를 통해 다양한 GPU 환경을 지원합니다.
6월 28일1
RedditAI 번역요약
자체 호스팅 Gemma 2 9B와 프론티어(Frontier) API 벤치마킹: NVIDIA L4에서의 FP8 양자화(Quantization)
NVIDIA L4 GPU 환경에서 Gemma 2 9B 모델의 FP8 양자화 성능을 벤치마킹한 결과입니다. 양자화가 디코딩 단계의 메모리 대역폭 효율은 높이지만, 연산 집약적인 프리필(Prefill) 단계에서는 지연 시간을 증가시키는 트레이드오프를 분석했습니다.
6월 28일1
RedditAI 번역요약
Raspberry Pi와 GPT 5.5를 사용하여 나만의 커스텀 Alexa 만들기
Raspberry Pi 5와 OpenAI의 GPT 모델을 활용하여 호출어(wake word)로 작동하는 커스텀 음성 비서를 구축하는 프로젝트를 소개합니다. 오픈 소스로 공개되어 있으며, 다양한 모델과 도구를 연결해 에이전트를 커스터마이징할 수 있습니다.
6월 27일1
RedditAI 번역요약
self-play RL을 사용하여 superhuman 수준의 Generals.io 에이전트를 만들었습니다
Self-play 강화학습을 통해 Generals.io 게임에서 인간 리더보드 1위를 달성한 superhuman 에이전트 개발 과정을 소개합니다. JAX 재구현과 Vision Transformer 도입을 통해 스케일링 효율을 극대화한 기술적 노하우를 공유합니다.
6월 26일1
RedditAI 번역요약
MiniMax 2.7 @47tg 1200pp
MiniMax 2.7 모델을 활용하여 에이전트 클래스 시스템을 구축한 사례를 소개합니다. 고사양 하드웨어 환경에서 MoE 모델과 시퀀싱 에이전트, 비동기 감시 모델을 결합한 루프 구조를 구현했습니다.
6월 26일2
RedditAI 번역요약
모델 벤치마크를 신뢰하는 대신 나만의 평가 세트(Eval Set)를 운영하기 시작하며 변화된 점
공개 벤치마크의 한계를 지적하며, 실제 운영 트래픽을 기반으로 한 자체 평가 세트(Eval Set) 구축의 중요성을 강조합니다. 모델의 성능을 객관적으로 비교하기 위해 데이터 분포를 고정하고 실행 환경의 변수를 통제하는 방법론을 제시합니다.
6월 25일0
RedditAI 번역요약
OpenAI Ads API를 위한 소규모 MCP 서버를 제작했습니다
OpenAI Ads/Advertiser API를 Claude나 Cursor에서 효율적으로 사용할 수 있도록 돕는 소규모 MCP 서버를 개발했습니다. 계정 데이터 조회부터 캠페인 생성, 타겟 관리 및 인사이트 추출 기능을 제공합니다.
6월 25일1
RedditAI 번역요약
Barry가 이제 AI 에이전트의 컨텍스트를 약 50% 절감합니다 - 동일한 사실, 더 적은 토큰
Barry는 git 저장소 기반의 메모리 시스템으로, AI 에이전트가 프로젝트의 핵심 지식을 효율적으로 로드할 수 있게 돕습니다. 토큰 사용량을 최대 50% 절감하면서도 필요한 정보의 손실 없이 컨텍스트를 관리할 수 있는 오픈 소스 도구입니다.
6월 24일1
RedditAI 번역요약
프롬프트 사용 한도에 도달했을 때를 대비해 PromptQueue를 만들었습니다
AI 도구의 사용 한도 제한 문제를 해결하기 위해 프롬프트를 예약 실행할 수 있는 로컬 Python CLI 도구인 PromptQueue를 소개합니다. 이 도구는 ChatGPT, Claude, Cursor 등 다양한 플랫폼을 지원하며 오픈 소스로 제공됩니다.
6월 23일1
RedditAI 번역요약
M1 Max 컴퓨터와 로컬 ML 모델(전사(Transcription)를 위한 Whisper)을 사용하여 669GB의 GoPro 영상을
M1 Max 환경에서 OpenAI Whisper, Qwen2.5-VL 등 오픈 소스 ML 모델을 활용해 669GB 분량의 GoPro 영상을 로컬로 인덱싱하는 프로젝트를 소개합니다. 영상 내 특정 순간을 검색하고 DaVinci Resolve로 바로 보낼 수 있는 워크플로우를 구축했습니다.
6월 23일2
RedditAI 번역요약
왜 아무도 Microsoft의 오픈 소스 Fast Context에 대해 이야기하지 않나요!!!
Microsoft가 공개한 FastContext-1.0은 LLM 코딩 에이전트의 효율성을 높이기 위한 경량 저장소 탐색 서브 에이전트입니다. 메인 에이전트와 탐색 역할을 분리하여 병렬 도구 호출을 통해 컨텍스트를 압축하고 토큰 사용량을 획기적으로 줄입니다.
6월 23일1
RedditAI 번역요약
대부분의 에이전트 도구는 모든 에이전트를 동일하게 만들어 생성하기 쉽게 만듭니다. 저는 각 에이전트가 독립적이기를 원했습니다. 제가 이를
독립적인 런타임과 워크스페이스를 가진 에이전트 오케스트레이션 라이브러리의 아키텍처를 소개합니다. 고정된 설정 대신 각 에이전트가 자신만의 툴체인과 환경을 가질 수 있도록 YAML 기반의 선언적 구조를 제안합니다.
6월 22일0
RedditAI 번역요약
DoneCheck: Codex 에이전트를 위한 완료 증명(proof-of-done) 영수증
AI 코딩 에이전트가 작업을 완료했다고 주장할 때, 실제 수행 결과에 대한 증거를 검증하는 DoneCheck를 소개합니다. 변경 파일, 검증 명령, 종료 코드 등을 통해 AI의 코드 누락이나 검증 미비 사항을 잡아내는 가벼운 게이트 역할을 합니다.
6월 22일0
RedditAI 번역요약
LLM 대규모 추론을 위한 오픈 핸드북 (GPU 내부 구조, KV 캐시, 배치 처리, vLLM/SGLang/TensorRT-LLM)
LLM 대규모 추론의 내부 구조와 최적화 방법을 다루는 오픈 소스 핸드북을 소개합니다. GPU 실행 구조, 메모리 계층, KV 캐시, 배치 처리 등 병목 현상의 원인과 해결책을 상세히 설명합니다.
6월 22일1
RedditAI 번역요약
API 크레딧을 낭비하고 VRAM을 점유하는 로컬 에이전트의 무한 루프에 지쳐서, 이를 자동으로 동결하는 오픈 소스 eBPF 서킷 브레이커를
로컬 AI 에이전트의 무한 루프로 인한 API 크레딧 낭비와 VRAM 점유 문제를 해결하기 위해 eBPF 기반의 오픈 소스 서킷 브레이커인 KernelCap을 소개합니다. Linux 커널 수준에서 폭주하는 워크로드를 실시간으로 감지하고 프로세스를 즉각 동결하여 자원을 보호합니다.
6월 21일0
RedditAI 번역요약
TSAuditor: 시계열 감사 프레임워크 [P]
시계열 데이터의 결측치, 데이터 누수, 연대순 순서 오류 등을 자동으로 탐지하는 검증 프레임워크 TSAuditor를 소개합니다. 표준 프로파일링 도구가 놓치기 쉬운 시계열 특유의 오류를 잡아내고 수정 방안을 제안합니다.
6월 21일1
RedditAI 번역요약
안녕하세요 Reddit 여러분, ML, LLM 및 수학적 직관을 가르치는 '나만의 LLM 만들기' 워크숍을 YouTube에 게시했습니다
수학적 지식 없이도 LLM을 구축할 수 있도록 돕는 YouTube 워크숍을 소개합니다. 머신러닝 기초부터 트랜스포머 아키텍처, 사전/사후 학습까지 전 과정을 코드와 엑셀 예제로 다룹니다.
6월 20일0
RedditAI 번역요약
로컬 AI 음성 비서가 점점 멍청해지는 과정 관찰 (내 RTX 5060 Ti에서 진행한 9B에서 0.8B 에이전트 실험)
소비자용 하드웨어에서 로컬 음성 비서 에이전트를 실행할 때 모델 크기에 따른 성능 변화를 실험했습니다. Qwen 3.5 모델을 9B부터 0.8B까지 단계적으로 축소하며 추론 및 도구 사용 능력을 관찰했습니다.
6월 19일1
RedditAI 번역요약
hubert.cpp, distilHuBERT의 C++ 구현체 [P]
distilHuBERT의 C++ 구현체인 hubert.cpp를 소개합니다. 런타임 의존성 없이 가중치가 컴파일되어 포함되어 있으며, onnxruntime과 대등한 성능을 제공합니다.
6월 19일1
RedditAI 번역요약
새로운 기능: Learning blocks
OpenAI의 새로운 기능인 'Learning blocks'는 사용자가 변수를 직접 조정하며 개념을 익힐 수 있는 상호작용형 교육 도구입니다. 기존 위젯이 외부 정보를 표시하는 데 중점을 두었다면, Learning blocks는 슬라이더 등을 통해 실시간으로 설정을 변경하며 학습할 수 있는 독립적인 구조를 가집니다.
6월 19일0