단 4GB RAM을 가진 16년 된 Windows 7 PC에서 로컬 AI를 실행했습니다 — 그런데 실제로 작동합니다! 🚀

모두가 로컬 LLM (Large Language Models)을 실행하려면 강력한 GPU와 엄청난 양의 RAM이 필요하다고 말합니다. 저는 그 생각에 도전해 보기로 했습니다. 그래서 저의 오래된 2010년형 Windows 7 기기(듀얼 코어 CPU, 사용 가능한 RAM 3.8GB, GPU 없음)를 가져와 KoboldCPP와 Qwen 2.5 0.5B (Q4_K_M)를 사용하여 완전히 기능하는 오프라인 AI 워크스테이션으로 변신시켰습니다. 결과는 어땠을까요? 초당 약 2.2 토큰 (tokens per second)의 속도로 실행되며, 3GB RAM 미만을 유지하고, 글쓰기, 브레인스토밍, 코딩 도움 등에서 놀라울 정도로 유용한 응답을 제공하는 작동 가능한 로컬 AI를 얻었습니다. 세상에서 가장 똑똑한 모델은 아니지만, 완전히 프라이빗하며, 오프라인에서 작동하고, 로컬 AI 혁명에 참여하기 위해 비싼 새 하드웨어가 필요하지 않다는 것을 증명합니다. 만약 먼지만 쌓여가는 오래된 PC가 있다면, 이것은 올해 당신이 시도해 볼 가장 재미있는 프로젝트가 될지도 모릅니다. 전체 단계별 가이드는 여기에서 확인하세요: → https://sharetxt.live/blog/i-ran-a-local-ai-on-windows-7-with-4gb-ram 여러분이 여전히 사용 중인 오래된 하드웨어는 무엇인지 꼭 듣고 싶습니다!