🐹🦜 이 글에 등장하는 두 캐릭터
- 🐹
못치ー(햄스터)… AI는 아직 공부 중. "그게 무슨 뜻이야?"라고 순수하게 질문하는 학생 역할 - 🦜
키나코(사랑앵무)… AI로 자료 조사를 하는 해설자 역할. 상냥하게 깊이 파고들어 가르치는 선생님 역할
이 글은 두 캐릭터의 대화를 받아 적은 형식입니다. 발언 시작 부분에 있는 이모지 + 이름이 화자입니다.
🐹 못치ー: "있잖아 키나코, 요즘 자주 듣는 '로컬 AI'라는 게 있잖아, 쉽게 말해서 무료로 ChatGPT 같은 걸 돌릴 수 있다는 거지?"
🦜 키나코: "그전에 하나만, 숫자만 봐줬으면 해. 모델도 같고, GPU도 같은데, 한쪽은 초당 793 토큰이야."
🦜 키나코: "다른 쪽은 초당 41 토큰이거든."
🐹 못치ー: "어? 잠깐만. 793이랑 41이라니... 거의 20배 차이가 나잖아. 같은 모델로?"
🦜 키나코: "같은 Llama 3.1의 8B야. GPU도 같은 A100이고. 차이를 만든 건 모델도 아니고, GPU도 아니야."
🐹 못치ー: "그럼 뭐가 다른 거야? 뒤에서 누가 해바라기 씨앗이라도 나르고 있는 거야?"
🐹 못치ー: "아니면 있잖아, 애초에. 내 컴퓨터는 게임조차 버벅거리는데, AI 같은 게 돌아가긴 하는 거야?"
🦜 키나코: "그게 말이지, 2026년에는 동작하게 되었어. 다만 구동 방식의 선택지가 한꺼번에 늘어나면서, '선택 방법'에 따라 결과가 달라지게 된 거야."
🦜 키나코: "비슷해. 운반하는 설계 자체가 다른 거지. 그런데 말이야, 이 20배 차이는 조건을 하나 바꾸면 흔적도 없이 사라져 버린단다."
🐹 못치ー: "사라진다고!? 겨우 20배에 감동했는데."
🦜 키나코: "그게 오늘 본론이야. 로컬 AI의 가치는 무료 여부가 아니라 '선택 방법'에 관한 이야기야."
🦜 키나코: "20배 차이의 정체와, VRAM 8GB・16GB・24GB에서 몇 B까지 올릴 수 있는지. 그리고 무료가 지불하는 대가까지 보여줄게."
🐹 못치ー: "대가!? 역시 공짜는 없다니까. 궁금한데."
🦜 키나코: "끝까지 보면, 자신의 GPU로 무엇이 돌아갈지 스스로 판단할 수 있게 될 거야. 오늘은 거기까지 한 번에 설명해 줄게."
🐹 못치ー: "잠깐만. 아까부터 모르는 이름들이 잔뜩 나오는데, 솔직히 그중 하나만 알아도 충분하지 않아?"
🐹 못치ー: "종류가 너무 많아. 전부 외우는 거 힘들어. 나한테 제일 강력한 것 딱 하나만 알려줬으면 좋겠는데."
🦜 키나코: "응, 그 마음은 이해해. 나도 처음엔 가장 강력한 걸 찾았거든. 하지만 이 네 가지는 강함의 순서가 아니라 용도의 분배야."
🐹 못치ー: "분배? 갑자기 야생동물의 영역 다툼 같은 얘기가 됐네. 나한테도 알기 쉽게 말해줬으면 좋겠는데."
🦜 키나코: "이름은 뒤로 미룰게. 하고 싶은 일은 일단 구동하기, 화면에서 가볍게 만져보기, 다수에게 동시에 배포하기, 가지고 있는 자료에 답변시키기. 이 네 가지야."
🐹 못치ー: "아, 먼저 하고 싶은 것부터 말해주니 이해가 쉽네. 그럼 그 네 가지에 이름을 붙여준다는 거야?"
🦜 키나코: "첫 번째는 Ollama. 모델을 구동하는 기반, 이른바 런타임(runtime)이야. 명령어 한 줄로 동작시킬 수 있고, OpenAI 호환 API가 포트 11434에 열려 있어."
🐹 못치ー: "OpenAI 호환 API... 즉, 다른 앱에서 같은 말로 말을 걸 수 있는 접수 창구가 처음부터 달려 있다는 거야?"
🦜 키나코: "그래, 그 이해가 맞아. 그래서 Ollama는 개발자의 입구야. 두 번째는 LM Studio. 이건 화면으로 완결되는 거야."
🐹 못치ー: "그럼 IT 문맹인 나한테는 이게 정답이잖아! 화면을 톡톡 누르는 것만으로 괜찮다면 오늘부터 할 수 있겠네."
🦜 키나코: "입구로서는 그래. 다만 본체는 내용물이 비공개이고, 혼자 사용하는 것을 전제로 만들어졌어. 팀에 배포하는 설계는 아니란다."
🐹 못치ー: "과연. 그럼 나머지 두 개, 다수에게 동시에 배포하는 건 누가 담당하는 거야?"
🦜 키나코: "세 번째 vLLM. 실서비스에서 다수에게 한꺼번에 배포하기 위한 고성능 엔진이고, 설정의 수고가 가장 많이 필요해."
🐹 못치ー: "그럼 마지막으로, 가지고 있는 자료를 읽게 해서 답변시키는 건? 내 메모에도 답을 받고 싶다고."
🦜 키나코: "네 번째 AnythingLLM. 자료를 먼저 찾은 다음에 답변하는 RAG(Retrieval-Augmented Generation) 계층이고, 아래에 Ollama나 LM Studio를 깔아서 사용해."
🦜 키나코: "그리고 말이야, 이 분배의 근간에는 아까 그 20배 차이를 만든 설계 사상의 차이가 있는 거야."
🦜 키나코: "못치ー, 둥지에 해바라기 씨앗을 넣을 때 있잖아. 큰 알갱이랑 작은 알갱이가 섞인 채로 채우면, 여기저기에 빈틈이 생기지 않아?"
🐹 못치ー: "흔하네. 한 알 정도 더 들어갈 것 같은데, 어디든 어중간하게 비어있어서 결국 아무 데도 안 들어가잖아."
🦜 키나코: 사실 GPU 메모리에서도 똑같은 일이 일어나고 있어. 대화의 중간 과정을 저장하는 공간이 그 톱니바퀴 상태가 되는 거야.
🦜 키나코: 그 중간 과정은 KV 캐시(KV cache)라고 불리는데, 대화가 길어질수록 두꺼워져. 읽은 내용을 추가하는 메모 뭉치라고 생각해 봐.
🐹 모치: 계속 두꺼워지는 메모 뭉치가 그 톱니바퀴의 빈틈에 여기저기 흩어진다는 거야? 상상만 해도 둥지가 난장판이 된 것 같아.
🦜 키나코: 맞아. 게다가 예전 방식으로는 그 메모를 위해 미리 확보한 공간의 60~80퍼센트가 사용되지 않은 채로 낭비되고 있었어.
🐹 모치: 80퍼나! 내 둥지가 그렇게 빈 공간투성이면, 씨앗을 얼마나 더 넣을 수 있을 것 같아? 너무 아깝잖아.
🦜 키나코: 그렇지. 이 이름 없는 낭비를 없애기 위해 탄생한 메커니즘에 제대로 된 이름이 붙었어. 바로 PagedAttention이라는 거야.
🦜 키나코: 하는 일은 간단해. 씨앗을 전부 같은 크기의 작은 주머니로 나누고, 비어 있는 선반에 여기저기 흩뿌려 놓는 거야. 연속된 빈 공간을 찾을 필요가 없어.
🐹 모치: 아, 작게 나누면 좁은 틈까지 전부 쓸 수 있다는 거네. 내용은 바꾸지 않고, 둥지를 채우는 방식만 바꾼 거잖아?
🦜 키나코: 맞아. 낭비는 4퍼센트 미만으로 줄고, 한 번에 처리할 수 있는 양은 2배에서 4배가 돼. 이 양을 스루풋(throughput)이라고 불러.
🐹 모치: 이거 완전 최고잖아! 그럼 다들 vLLM 쓰면 좋겠다. 같은 GPU에서 4배라니, 망설일 이유가 없네.
🦜 키나코: 실제로 그 차이는 커서, A100 GPU로 Llama3.1의 8B 모델을 구동할 경우
🐹 모찌: "그렇구나. 그래서 가장 알고 싶은 건 거기야. 결국 내 컴퓨터로는 뭐가 어디까지 돌아가는데?"
🦜 키나코: "VRAM 8GB라면 7B급이 약 4.2GB, 16GB라면 13B급이 약 7.8GB야. 여기까진 일반 게이밍 PC 범위지."
🦜 키나코: "24GB라면 Qwen3-32B가 약 20GB로 딱 맞아 들어가. 70B급은 약 42GB라, 48GB 이상 아니면 힘들 거야."
🐹 모찌: "그러니까 내 경우엔 8GB면 7B, 16GB면 13B네. 숫자로 말할 수 있게 되니 갑자기 내 얘기처럼 들리네."
🦜 키나코: "솔직히 말하면, 나는 처음에는 Qwen3라는 이름이 붙은 건 전부 다 똑같이 기억했었어."
🦜 키나코: "숫자만 다르지 뭐, 하고 대충 정리하다가 나중에 모찌 앞에서 엄청 창피했던 적도 있어."
🐹 모찌: "키나코도 틀릴 수 있구나. 좀 안심됐다. 그래서, 전부 똑같이 취급하면 뭐가 문제야?"
🦜 키나코: "일단 숫자부터 정리해 줄게. Qwen3의 밀집 모델(dense model)은 0.6B, 1.7B, 4B, 8B, 14B, 32B 이렇게 6종류야."
🦜 키나코: "여기에 MoE라는 별도의 형태가 2가지 있어. 30B-A3B랑, 2025년 4월 29일에 공개된 플래그십 모델인 235B-A22B지."
🐹 모찌: "합쳐도 8종류나 되는구나... 나 이름이랑 숫자가 너무 많아서 머리가 빙글빙글 돌 것 같은데."
🦜 키나코: "외우지 않아도 돼. 중요한 건 성능 쪽이야. Qwen3-Coder는 SWE-Bench Verified에서 69.6%를 기록했어."
🦜 키나코: "비교 대상인 Claude Sonnet 4가 70.4%라서, 차이가 0.8포인트야. 오픈 모델 중에서는 선두 주자지."
🐹 모찌: "69.6이 무슨 점수야? 잘 모르겠는데, 공짜인 게 유료인 거랑 거의 맞먹는다는 거야?"
🦜 키나코: "SWE-Bench는 실제로 보고된 버그 수정 과제를 몇 퍼센트까지 고칠 수 있는지 측정하는 테스트야. 실무 능력에 상당히 가깝지."
🦜 키나코: "다만 비교 대상은 구형 Sonnet 4로 한정됐어. 더 새로운 세대와는 아직 확실한 차이가 있어."
🦜 키나코: "한국어의 경우, Nejumi Leaderboard 4의 2026년 7월 10일 버전에서 Qwen3.5-4B가 0.7352를 기록했어."
🦜 키나코: "스코어는 높을수록 좋은 지표야. Qwen3.5-27B는 0.8049로, 오픈 웨이트(open weights) 최초로 0.80을 넘었지."
🦜 키나코: "다만 나도 일차 리더보드 본체는 직접 볼 수 없었고, 기업 블로그를 통해 얻은 숫자야."
🐹 모찌: "아키나코, Qwen은 전부 Apache 2.0으로 공짜인 거잖아? 상업적으로 어떻게 써도 뭐라고 안 하잖아!"
🦜 키나코: "아쉽지만, 절반만 맞아. 내용물의 데이터가 배포되는 오픈 웨이트의 8B나 32B는 확실히 Apache 2.0이 맞아."
🦜 키나코: "Apache 2.0은 상업적 이용도 개조도 괜찮다는 허가증 같은 거야. 하지만 클로즈드 API 전용인 Qwen3-Max는 애초에 대상이 아니야."
🐹 모찌: "우와, 나 완전히 'Qwen은 전부 공짜'라고 알고 있었네. 이름이 같아도, 도장을 받을 수 있는 애랑 아닌 애가 있구나."
🐹 모찌: "여기까지 듣고 오니까, 내가 계속 걸리는 게 하나 있어. 말해도 돼?"
🐹 모찌: "공짜로 똑똑한 게 내 PC에서 돌아간다면, 매달 돈 내는 사람들은 뭘 위해 돈을 쓰는 거야?"
🦜 키나코: "좋은 의문점이야. 바로 그 지점이야. 그 답이 로컬 LLM이 몰래 치르고 있는 대가(代償)야."
🦜 키나코: "단일 소비자용 GPU 하나로 돌아가는 오픈 모델은, 가장 앞서 나가는 AI에 평균적으로 6~12개월 정도 뒤처져 있어."
🐹 모찌: "반년에서 1년이나 뒤쳐져...? 어? 잠깐만. 생각보다 많이 차이가 크네."
🦜 키나코: "측정 방식에 따라 폭이 달라지거든. 박사급 난제를 푸는 GPQA-Diamond에서는 7.4개월, 대학 수준의 종합 학력 테스트 MMLU-Pro에서는 7.3개월이야."
🦜 키나코: "종합 지수인 Intelligence Index로는 6.3개월이고. 인간 투표로 강함을 결정하는 LM Arena 스코어는 가장 길게 12.4개월까지 나."
🐹 모찌: "그러니까 작년 모델을 지금 쓰고 있다는 거네... 뭔가 좀 손해 본 기분이 드네."
🦜 키나코: "게다가, 담을 수 있는 크기에도 천장이 있어. 이론적으로는 RTX 4090으로 약 27B, RTX 5090으로 약 40B까지지."
🐹 모찌: "뒤처져 있을 뿐만 아니라 천장까지 있다니! 공짜라고 해도, 이거 꽤 돈을 내고 있는 거잖아."
🦜 키나코: "뭐 뭐. 거기서 포기하지 않았으면 좋겠네. 그 차이가 말이야, 뒤쳐지는 게 아니라 지금 막 좁혀지고 있는 중이거든.
🦜 키나코: "MoE는 매번 전부 사용하지 않고 담당 부분만 깨우는 방식이야. 실제로 작동하는 부분을 '활성 파라미터(Active Parameters)'라고 불러."
🐹 모치: "담당만 깨운다는 건, 둥지 안의 모든 개체를 깨우지 않고, 씨앗을 나르는 담당에게만 말을 거는 느낌?"
🦜 키나코: "응, 그 이해로 괜찮아. 모든 사람의 지식은 가진 채로, 작동시키는 인원만 줄이는 거지. 그래서 작은 GPU에서도 돌릴 수 있는 거야."
🦜 키나코: "Gemma 4는 26B 중 약 4B만, Qwen 3.6은 35B 중 3B만 작동시켜. 그래서 4090이나 5090에서도 제대로 돌아가는 거야."
🦜 키나코: "여기서만 하는 이야기인데, 집사님의 결제 명세서를 슬쩍 봤거든... AI 구독 서비스가 매달 꽤 많이 쌓여있더라."
🐹 모치: "잠깐, 그러면 직접 돌리는 게 낫지 않아? 밖에 절대 나갈 수 없고, 몇 번을 써도 추가로 돈 안 들잖아!"
🐹 모치: "그래서 처음에 말했던 20배 차이—결국 뭘 쓰는 게 좋은 건가?라는 질문으로 다시 돌아오는데."
🦜 키나코: "좋아, 마지막에 3단계로 정리해 줄게. 오늘 이야기한 걸 전부 이 순서대로 정리할 수 있어."
🐹 모치: "3단계? 잠깐, 나열만 하지 마. 나는 목록으로 만들어지면 다 흘려버린다고."
🦜 키나코: "1단계는, 자신의 GPU의 VRAM을 확인하는 거야. 처음에 나온 793 대 41이라는 숫자는 동시 실행했을 때의 차이야."
🐹 모치: "아, 그렇구나! 나처럼 혼자만 사용할 거라면, 그 20배 차이는 처음부터 상관없다는 거네!"
🦜 키나코: "맞아. 단독 사용이라면 둘 다 130~180 tok/s로 수평이야. 그럼 2단계, Q4_K_M으로 크기를 역산하는 거야. 7B라면 약 4.2GB거든."
🐹 모치: "그럼 역산이잖아! 내 PC는 16GB니까... 13B가 약 7.8GB겠네? 나도 13B 돌릴 수 있잖아!"
🦜 키나코: "응, 그게 2단계야. 3단계는 용도에 따라 런타임을 선택하는 거야. 혼자 쓸 거면 Ollama, 회사에서 동시에 여러 명이 사용할 거면 vLLM이야."
🐹 모치: "즉, 처음에 나온 20배 차이는 속도의 승패가 아니라 '몇 명이 사용하는지'의 문제였다는 말인가!"
🦜 키나코: "맞아. 그래서 혼자 시험해 볼 목적이라면, 일단 Ollama로 하나 돌려보는 게 가장 빠르거든."
🐹 모치: "음... VRAM 확인하고, Q4_K_M으로 크기 역산해서, 혼자인지 많은 사람인지에 따라 런타임 결정. 이게 전부야?"
🦜 키나코: "이거야. 그리고 라이선스만 확인해 줘. Qwen3의 오픈 웨이트는 Apache 2.0이고, Qwen3-Max는 별도야."
🐹 모치: "과연... 저기 너! 네 GPU의 VRAM이 몇 GB인지 알려줄 수 없어? 댓글 창에서 기다릴게."
🦜 키나코: "나도 궁금하다. 가장 강력한 모델을 찾는 게 아니라, 자신의 VRAM과 용도에서 역산하는 것. 그게 오늘의 답이야."
🐹 모치: "4.2GB면 오늘 밤에 다운로드할 수 있겠네. 나는 일단 7B 하나만 돌려봐야겠다."
🦜 키나코: "...사실 이 '양자화해도 정확도가 떨어지지 않는다'는 이야기는 클라우드 API의 가격 인하 경쟁과도 연결되어 있는데... 그건 또 다른 영상에서 다룰게."
🐹 모치: "에? 왜 여기서 멈추는 거야! 제일 재미있는 부분인데!... 키나코, 너 진짜 성격 좋다."
키나코모치 테크 깊이 파헤치기 에서는 AI/LLM을 중심으로 한 기술 전반을 햄스터(🐹 모치)와 세리프앵무새(🦜 키나코)의 대화로 재미있게 해설하고 있습니다.
▶️ 영상으로 보기 → 같은 GPU에서 20배 차이! 로컬 LLM은 '무료'보다 '선택 방법'이었다
👍 이 글이 도움이 되었다면 LGTM 및 스토크 해주시면 힘이 됩니다!
📺 채널 구독하기 → 키나코모치 테크 깊이 파헤치기
🔗 다른 해설 영상 보기 → 키나코모치 테크 깊이 파헤치기의 영상 목록
