AI를 로컬에서 실행하려면 고사양 GPU가 필요하다는 말은 사실이 아닙니다

사람들은 AI를 로컬(locally)에서 실행하려면 고사양 GPU가 필요하다고 계속 말합니다.

알고 보니... 그것은 사실이 아닙니다.

이 개발자는 각 VRAM 계층이 실제로 무엇을 처리할 수 있는지 확인하기 위해 8GB 게이밍 노트북 GPU부터 4년 된 RTX 3090까지 모든 것을 테스트했습니다.

목표는 벤치마크(benchmarks)를 쫓는 것이 아니었습니다.

그것은 하나의 간단한 질문에 답하는 것이었습니다:

"내가 이미 보유하고 있는 하드웨어에서 실행할 수 있는 최고의 AI 모델은 무엇인가?"

결과는 놀라울 정도로 실용적이었습니다.

8GB GPU는 안정적인 로컬 LLM(Large Language Models)을 실행하기에 충분합니다.

12GB RTX 3060은 대부분의 사람들이 예상하는 것보다 훨씬 더 나은 성능을 보여줍니다.

그리고 그 오래된 24GB RTX 3090은요? 그것은 여전히 매달 지불하는 수백 달러의 AI 구독 서비스를 대체할 수 있습니다.

만약 당신의 GPU가 "너무 오래되었다"고 생각해서 로컬 AI를 미뤄왔다면, 다시 생각해 볼 필요가 있습니다.