AI의 미래는 클라우드에만 있는 것이 아니다

Andrej Karpathy (OpenAI 공동 창립자, Eureka Labs):
"AI의 미래가 모두 클라우드에만 있는 것은 아닙니다. 가장 중요한 모델들은 사용자의 하드웨어에서 사용자가 통제하는 방식으로 로컬에서 실행될 것입니다."

2026년 6월은 미래가 실제로 모든 사람에게 접근 가능해지는 첫 번째 시기가 될 것입니다!

현재 로컬 LLM 환경이 어떤지 알려드립니다:

→ raspberry pi 5: GPU 불필요, coherent 챗봇 구동 가능

→ macbook air: 대부분의 작업에서 GPT-3.5 수준의 품질을 네이티브로 구현

→ $700에 구매한 중고 RTX 3090: 로컬에서 실행되는 GPT-4와 비슷한 성능

→ ollama: OpenAI와 호환되는 엔드포인트에 단 하나의 명령어로 접근 가능하며, 모든 주요 툴체인이 이를 통합합니다.

→ LM studio: 최고의 GUI를 제공하며, apple silicon에서 네이티브 MLX 가속을 지원하고, 0.4.0 버전에서 MCP를 지원합니다.

→ llama.cpp: 다른 모든 것이 구동되는 엔진이며, 90MB의 메모리 사용량을 가지며 raspberry pi부터 android까지 실행 가능합니다.

→ 솔직히 말하자면: 현재 일상 업무의 80%는 로컬에서 충분히 좋은 수준입니다.

사용자의 프롬프트는 절대 기기를 벗어나지 않습니다. 토큰당 비용 청구도 없고, 사용량 제한도 없으며, 거부 응답도 없습니다.

Raspberry Pi부터 RTX 5090까지 모든 하드웨어 등급을 위한 플레이북이 여기에 있습니다.

잃어버리지 않도록 북마크하세요!

더 많은 로컬 AI 및 오픈 소스 인텔리전스를 원한다면 @neil_xbt를 팔로우하여, 대부분의 사람들이 6개월 늦게 발견하는 하드웨어와 도구에 대한 정보를 얻으세요.