Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
RedditAI 번역요약
Horus 이미지 생성 모델 출시!
TokenAI가 이집트에서 개발한 첫 번째 오픈 소스 이미지 생성 모델인 Horus Lens 1.0을 출시했습니다. 이 모델은 Apache License 2.0을 따르며, 다양한 하드웨어 환경에 맞춘 5가지 양자화 버전을 제공합니다.
6월 15일1
RedditAI 번역요약
Gemma 4 12B가 저의 새로운 주력 모델입니다
로컬 코딩 환경에서 Gemma 4 12B(Unsloth Q5_K_XL) 모델을 주력으로 사용한 경험을 공유합니다. Q4 대비 속도는 다소 낮아졌으나 구문 오류 수정이 현저히 줄어들었으며, 도구 호출(Tool call) 설정이 간편하여 워크플로우 효율이 높습니다.
6월 15일1
RedditAI 번역요약
iPhone/iPad에서 GGUF 모델을 벤치마크할 수 있는 iOS 앱을 만들었습니다
llama.cpp와 Metal을 활용하여 iPhone 및 iPad에서 GGUF 모델을 실행하고 벤치마크할 수 있는 iOS 앱 'GenBench'가 출시되었습니다. 사용자는 Hugging Face에서 모델을 직접 다운로드하여 토큰 생성 속도와 메모리 사용량 등을 측정할 수 있습니다.
6월 15일1
RedditAI 번역요약
저수준 시스템 엔지니어링 (Low-level systems engineering)에서의 로컬 모델 vs 프론티어 모델 비교
저수준 시스템 엔지니어링 분야에서 로컬 모델과 프론티어 모델의 성능 차이를 비교합니다. 특히 펌웨어 역공학 및 바이너리 패칭 작업에서 Claude Opus가 타 모델 대비 압도적인 성능을 보임을 설명합니다.
6월 15일1
RedditAI 번역요약
MacBook Pro M5에서 로컬 에이전트(Local agents)가 마침내 실용적으로 느껴지기 시작했습니다
MacBook Pro M5 환경에서 Qwen3.6 모델과 oMLX 런타임을 활용하여 로컬 에이전트 워크플로우를 실용적인 수준으로 구현하는 방법을 소개합니다. 높은 토큰 생성 속도와 Agent Reach 툴링을 통해 클라우드 모델에 버금가는 반응성을 확보할 수 있습니다.
6월 15일1
RedditAI 번역요약
제 생각은 이렇습니다, Pi 팬들이 여기 숨어 있나요?
Pi 에이전트 프레임워크가 로컬 LLM 환경에 최적화되지 않았음을 분석합니다. API 사용자에게는 큰 문제가 되지 않는 시스템 프롬프트와 도구 가용성 문제가 로컬 환경에서는 성능 저하의 주요 원인이 됨을 지적합니다.
6월 15일1
RedditAI 번역요약
많은 기대에도 불구하고 Gemma 4 12b QAT는 제 사용 사례에서 퇴보한 결과입니다.. 제 주력 모델은 아닙니다
Gemma 4 12b QAT 모델이 도구 호출(tool calling) 및 일관성 측면에서 기존 Q5_K_L 양자화 버전보다 성능이 퇴보했다는 사용자 리뷰입니다. 모델이 도구 응답 태그를 잘못 구성하여 구조화된 함수 실행이 깨지는 기술적 결함이 지적되었습니다.
6월 15일1
RedditAI 번역요약
LFM2.5, Gemma 4 E2B 및 E4B의 대화 내 기억력 테스트 결과: 가장 큰 모델이 대화 초반의 사실을 가장 먼저 망각함
LFM2.5, Gemma 4 E2B, E4B 모델을 대상으로 대화 맥락 유지 능력을 테스트한 결과, 모델 크기가 클수록 오히려 대화 초반의 정보를 더 빨리 망각하는 경향이 발견되었습니다. 이는 모델의 아키텍처 문제라기보다 안전성 및 지시어 튜닝의 부산물로 분석됩니다.
6월 15일1
RedditAI 번역요약
Qwen3.6-35B-A3B 도구 호출 (Tool Calling) 벤치마크: ByteShape vs. Unsloth GGUF, KV 캐시
Qwen3.6-35B-A3B 모델의 도구 호출(Tool Calling) 성능을 ByteShape와 Unsloth의 양자화 모델을 중심으로 비교 분석했습니다. 양자화 방식과 KV 캐시 설정이 성능에 미치는 영향을 실험했으며, 특히 긴 문맥 환경에서의 성능 저하를 확인했습니다.
6월 15일1
RedditAI 번역요약
vLLM을 위한 RDNA4 전용 Docker 이미지
RDNA4 GPU 환경에서 vLLM의 성능을 극대화하기 위한 전용 Docker 이미지와 최적화 기술을 소개합니다. 커스텀 커널과 양자화 기술을 통해 처리량을 100% 이상 향상시킬 수 있는 방법을 제공합니다.
6월 15일1
RedditAI 번역요약
Gemma 4 26B A4B IT QAT 비교
Gemma 4 26B 모델의 다양한 양자화 방식(4-bit, 6-bit, 8-bit QAT)에 대한 성능 벤치마크 결과입니다. MMLU_PRO와 HumanEval 테스트를 통해 QAT 모델이 기존 6-bit 양자화 모델보다 성능이 낮을 수 있음을 시사합니다.
6월 15일1
RedditAI 번역요약
Apple의 새로운 MLX LM Server
Apple의 MLX LM Server는 M5 칩의 신경 가속기를 활용해 프롬프트 처리 속도를 높인 새로운 ML 서버입니다. 연속 배칭을 통한 동시성 확보와 Thunderbolt RDMA를 이용한 분산 추론 기능을 지원합니다.
6월 15일1
RedditAI 번역요약
HONCHO 로컬 호스팅 설치 가이드: Docker 없이 설치하기 (튜토리얼)
Docker를 사용하지 않고 로컬 환경에 HONCHO를 설치하는 상세 가이드를 제공합니다. PostgreSQL과 pgvector를 활용하여 개발 및 테스트를 위한 작동 가능한 환경을 구축하는 방법을 단계별로 설명합니다.
6월 14일1
RedditAI 번역요약
Krasis 업데이트: 8GB 3070 Mobile 노트북(32GB RAM)에서 읽기 속도(1x)로 구동되는 Qwen3.6-35B-A3B
Krasis v1.0은 VRAM 용량을 초과하는 대규모 언어 모델을 시스템 RAM에서 VRAM으로 효율적으로 스트리밍하여 실행하는 LLM 런타임입니다. 전체 실행 과정을 Rust로 전환하여 Python GIL 문제를 해결하고, Ampere 아키텍처 지원 및 메모리 사용량 최적화를 달성했습니다.
5월 28일2
RedditAI 번역요약
$300 노트북에서 Qwen 3.5 35B 모델로 10.33 t/s 추론하기
저사양 $300 노트북 환경에서 Qwen 3.5 35B 모델을 활용해 10.33 t/s의 추론 속도를 달성한 최적화 프로젝트를 소개합니다. CPU/RAM 기반의 순수 추론 환경에서 성능을 극대화하기 위한 다양한 하드웨어 및 소프트웨어 설정 방법을 다룹니다.
5월 27일2
RedditAI 번역요약
103B 토큰 규모의 Usenet 코퍼스(1980–2013) 구축 — 웹 이전 시대, 인간 전용, AI 오염 제로
1980년부터 2013년까지의 Usenet 게시물 4억 개를 포함하는 103B 토큰 규모의 대규모 코퍼스를 구축했습니다. AI 오염이 전혀 없는 순수한 인간의 텍스트로 구성되어 모델의 미세 조정 및 도메인 학습에 최적화되어 있습니다.
5월 27일1
RedditAI 번역요약
홈 리눅스 사용자를 위한 소규모 로컬 MCP 서버 설치 도구 모음
리눅스 사용자가 로컬에서 MCP(Model Context Protocol) 서버를 쉽게 설치하고 실행할 수 있도록 돕는 오픈 소스 Bash 스크립트 번들을 소개합니다. 웹 검색, 파일 관리, 메모리 등 6가지 유용한 도구를 포함하며, 복잡한 수동 설정 없이 홈랩 환경에서 MCP를 실험할 수 있게 설계되었습니다.
5월 27일1
RedditAI 번역요약
ReAligned-Qwen3.5 출시
Eric Hartford와 Lazarus AI가 ReAligned-Qwen3.5 모델 시리즈를 출시했습니다. 이 모델은 중국의 이데올로기적 편향과 검열, 거부 행동을 줄이기 위해 SFT와 GRPO 파이프라인을 사용하여 미세 조정되었습니다.
5월 27일2
RedditAI 번역요약
AI를 루프에 빠뜨리는 트라우마를 멈추고, 친절하게 대해 환각을 정직한 "모르겠습니다!"로 바꾸는 방법 (개념 증명, 연구, 판매 목적 아님)
고압적인 프롬프트가 AI 모델의 추론 루프와 환각을 유발한다는 가설을 검증한 연구입니다. '부드러운 양육' 방식의 프롬프팅을 통해 모델의 인지적 결빙을 방지하고, 모르는 것을 정직하게 말하게 하여 응답 속도와 정확도를 개선했습니다.
5월 27일1
RedditAI 번역요약
niklassheth의 Pull Request #22596: talkie-1930-13b 지원 추가 · ggml-org/llama.cpp
llama.cpp 프로젝트에 13B 규모의 빈티지 언어 모델인 talkie-1930-13b-it 지원이 추가되었습니다. 이 모델은 1931년 이전의 텍스트로 학습되어 과거의 언어 스타일을 시뮬레이션하도록 설계되었습니다.
5월 26일1