Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
RedditAI 번역요약
AI에 의해 스스로가 기만당하는 것을 어떻게 방지하나요?
AI가 진실이 아닌 일관된 연속성을 최적화하는 특성 때문에 발생하는 '자기 기만' 현상과 이를 방지하기 위한 프레임워크를 소개합니다. 항공 전자 공학의 보호 로직을 응용하여 AI의 과도한 확신과 논리적 비약을 탐지하는 방법을 제안합니다.
6월 15일1
RedditAI 번역요약
터미널에 내장된 경량 에이전트
터미널 환경에서 사용할 수 있는 경량 코딩 에이전트 도구인 agent-sh를 소개합니다. 셸 내에서 문맥을 인식하여 명령어 제안 및 문제 해결을 도와주며, 로컬 모델과 연동하여 가볍게 사용할 수 있습니다.
6월 15일1
RedditAI 번역요약
안녕하세요 Reddit 여러분, OpenAI의 GPT2 스타일 Transformer를 재구축하는 방법을 가르치는 '나만의 LLM 만들기'
수학이나 머신러닝 사전 지식이 없어도 GPT2 스타일의 트랜스포머를 직접 구축할 수 있는 워크숍 가이드입니다. 기초적인 퍼셉트론부터 최신 LLM 아키텍처, 사전 학습 및 지시어 튜닝까지 전 과정을 코드와 엑셀 예제로 다룹니다.
6월 15일1
RedditAI 번역요약
OpenLumara - 'Vibe coding'이 아닌 밑바닥부터 직접 작성한, 색다른 방식의 AI 에이전트. 극도로 효율적인 토큰 사용량
OpenLumara는 기존의 비효율적인 에이전트 프레임워크와 달리, 밑바닥부터 직접 코딩하여 토큰 사용량을 극도로 최적화한 로컬 AI 에이전트입니다. 모듈형 구조와 강력한 보안, 사용자 제어권을 특징으로 하며 로컬 모델 환경에 최적화되어 있습니다.
6월 15일1
RedditAI 번역요약
Gemma 4 12B QAT MTP를 사용하여 12GB VRAM에서 120 tok/s 달성
Gemma 4 12B QAT 모델과 MTP(Multi-Token Prediction) 기술을 활용하여 12GB VRAM 환경에서 초당 120 tok/s 이상의 추론 속도를 달성한 벤치마크 결과입니다. llama.cpp와 Unsloth의 양자화 모델을 결합하여 효율적인 추론 환경을 구축했습니다.
6월 15일1
RedditAI 번역요약
새로운 메모리 시스템의 오류 및 이전 시스템 복구 불가 문제
ChatGPT의 새로운 메모리 시스템 업데이트 이후, 저장된 메모리를 정확히 검색하지 못하고 최근 컨텍스트에만 의존하는 심각한 오류가 보고되었습니다. 이전 시스템으로의 복구도 불가능하며, 약어나 개인적 설정 등 구체적인 정보를 잘못 추측하는 현상이 발생하고 있습니다.
6월 15일0
RedditAI 번역요약
5개월 후: open-deepthink에 완전한 지식 증류 (Knowledge Distillation) 모드 탑재
open-deepthink가 지식 증류(Knowledge Distillation) 모드를 탑재한 beta-0.0.3 버전을 출시했습니다. 멀티 에이전트 토폴로지를 통해 폐쇄형 모델의 지식을 구조화된 JSON 데이터셋으로 추출하여 오픈 소스 모델 파인튜닝에 활용할 수 있습니다.
6월 15일0
RedditAI 번역요약
dvlt.cu: NVIDIA의 DVLT 3D 트랜스포머 모델을 위해 CUDA/C++로 밑바닥부터 작성한 추론 엔진 (Inference
NVIDIA의 DVLT 3D 트랜스포머 모델을 위해 CUDA와 C++로 밑바닥부터 구현한 경량 추론 엔진입니다. 외부 런타임 의존성 없이 cuBLASLt와 cuTLASS만을 사용하여 단일 5MB 바이너리로 동작합니다.
6월 15일0
RedditAI 번역요약
몰입형 역할극 경험 (Immersive Role-Play Experience)
지속적인 판타지 세계 시뮬레이션을 위한 고도화된 게임 마스터(GM) 프롬프트를 소개합니다. 인과관계와 세계 상태의 연속성을 유지하며, 플레이어의 행동과 독립적으로 움직이는 살아있는 세계를 구축하는 원칙을 다룹니다.
6월 15일1
RedditAI 번역요약
버튼 대신 언어로 3D 아바타 제어하기
사용자의 자연어 명령을 실시간으로 실행 가능한 동작 프로그램으로 컴파일하여 3D 아바타를 제어하는 기술을 소개합니다. 평이한 영어 설명을 루프나 병렬 트랙 같은 논리적 구조로 변환하여 브라우저 로컬 환경에서 실행할 수 있습니다.
6월 15일1
RedditAI 번역요약
Docker 기반 Nemotron 3.5 ASR — Parakeet에서 전환, 더 나은 다국어 지원 + 스트리밍 (CPU에서 실시간 속도
Parakeet에서 Nemotron 3.5 ASR로 전환하여 다국어 지원과 스트리밍 성능을 개선한 사례를 소개합니다. Docker를 통해 컨테이너화되었으며, CPU 환경에서도 onnxruntime-genai를 활용해 실시간보다 4.5배 빠른 속도를 구현했습니다.
6월 15일1
RedditAI 번역요약
노트북에서 구동되는 Qwen3.6 35B-A3B: 나의 제로 투 원(Zero to One) 순간
ASUS Zenbook Pro 14 환경에서 Qwen3.6 35B-A3B 모델을 로컬로 구동한 경험을 공유합니다. 개인정보 보호를 위해 클라우드 대신 로컬 모델을 '제2의 뇌'로 활용하며 얻은 성능과 설정 방법을 다룹니다.
6월 15일1
RedditAI 번역요약
커스텀 CUDA 커널을 사용한 PyTorch MoE/MoD 학습 프레임워크 구축 [Apache 2.0]
MoE 및 MoD 아키텍처를 지원하는 PyTorch 기반의 LLM 학습 프레임워크입니다. 커스텀 CUDA 커널을 통해 학습 속도를 대폭 향상시켰으며, 적응형 학습 오케스트레이터를 통해 효율적인 파라미터 및 메모리 관리를 제공합니다.
6월 15일0
RedditAI 번역요약
로컬 추론 노드로서의 Galaxy Z Fold6 — llama.cpp/Vulkan, 홈랩 텔레메트리, SHA-256 모델 검증
Galaxy Z Fold6를 로컬 추론 노드로 활용하기 위해 llama.cpp와 Vulkan 백엔드를 사용하는 Android 앱 'Pocket Node' 개발 사례를 소개합니다. SHA-256 모델 검증, 홈랩 텔레메트리 연동, Tailscale 기반 OpenAI 호환 API 노출 등 기술적 구현 상세를 다룹니다.
6월 15일1
RedditAI 번역요약
브랜드 템플릿을 기반으로 Word 문서를 생성하는 Codex 기술
Codex를 활용하여 회사의 브랜드 템플릿(DOCX, PPTX, XLSX)을 엄격히 준수하며 문서를 자동 생성하는 기술을 소개합니다. AI가 디자인 요소를 임의로 변경하지 않고 템플릿의 레이아웃과 스타일을 보존하며 가변적인 콘텐츠를 삽입하는 프로세스를 구현했습니다.
6월 15일1
RedditAI 번역요약
vllm-doctor — vLLM 추론 서버를 진단하고 모니터링하는 CLI 도구
vllm-doctor는 vLLM 추론 서버의 메트릭을 분석하여 문제를 진단하는 CLI 도구입니다. 큐 압력, TTFT/TPOT, KV 캐시 상태 등을 규칙 기반으로 체크하여 원인과 권장 사항을 제공합니다.
6월 15일1
RedditAI 번역요약
도구 선택을 위해 시맨틱 임베딩 (Semantic Embeddings) 사용을 중단하고 BM25로 돌아간 이유
에이전트의 도구 선택(Tool Selection) 과정에서 시맨틱 임베딩 대신 BM25를 사용하는 것이 더 효과적임을 분석합니다. 짧고 구조화된 도구 설명의 특성상 코사인 유사도는 변별력이 떨어지며, BM25가 더 높은 정확도를 보였습니다.
6월 15일0
RedditAI 번역요약
[3090] Gemma 4 QAT + MTP 빠른 TPS 수치 [요약 1.2-1.8배 향상]
Gemma 4 모델에 QAT와 MTP 기술을 적용하여 RTX 3090과 같은 24GB 이하 GPU 환경에서 추론 속도(TPS)를 1.2~1.8배 향상시킨 사례를 소개합니다. llama-server 설정을 통해 멀티모달 및 텍스트 모델 모두에서 유의미한 성능 개선을 확인했습니다.
6월 15일1
RedditAI 번역요약
Luce Spark: 오프로드 비용 없이 16GB GPU에서 35B MoE 실행하기
Luce Spark는 16GB GPU 환경에서 35B 규모의 MoE 모델을 효율적으로 실행할 수 있게 해주는 오픈소스 기술입니다. 실시간 라우팅 데이터를 기반으로 자주 사용되는 '핫(hot)' 전문가를 GPU에 유지하고 나머지는 RAM에 두는 보정된 배치 방식을 사용합니다.
6월 15일1
RedditAI 번역요약
Levi: 로컬 Qwen 30B에서 AlphaEvolve 실행하기
AlphaEvolve 스타일의 오픈 소스 시스템인 LEVI를 소개합니다. LEVI는 적절한 탐색 아키텍처를 통해 소형 모델로도 대형 모델을 능가하는 성능을 내며, 기존 프레임워크 대비 비용을 최대 35배 절감할 수 있습니다.
6월 15일1