70B AI 모델을 8GB 노트북에서 실행하기

거대한 AI 모델을 실행하려면 10만 달러짜리 서버가 필요했습니다. 이제 일반 노트북에서도 할 수 있습니다. 한 개발자가 그 방법을 찾아냈으며, 이는 큰 비용을 들이지 않고 AI를 사용하고자 하는 학생, 개발자, 그리고 소규모 기업들에게 모든 것을 변화시킵니다.

몇 년 전, LLaMA 70B를 실행하려면 심각한 수준의 하드웨어가 필요했습니다. 여러 개의 GPU, GPU당 80GB의 RAM, 자동차 한 대 값보다 비싼 서버 랙이 필요했기 때문에 대부분의 사람들은 이를 건드릴 수조차 없었습니다. 데이터 예산이 있는 대형 기술 기업에서 일하거나, 아니면 이러한 모델을 전혀 실행할 수 없었습니다.

2026년에는 8GB RAM을 가진 노트북에서 동일한 모델을 실행할 수 있습니다. 당신이 3년 전에 구매한 노트북, 지금 당신의 책상 위에 있는 바로 그 노트북으로 말이죠. 그리고 그것은 실제로 작동합니다.

무슨 일이 일어났는가

한 개발자가 GitHub에 AirLLM이라는 것을 업로드했습니다. README에는 다음과 같이 적혀 있었습니다: "8GB RAM에서 70B 모델 실행. GPU 불필요." 이것이 핵심입니다.

개발자들은 이를 다운로드했습니다. 그들은 오래된 노트북과 저가형 컴퓨터에서 테스트했습니다. 작동해서는 안 되는 기기에서도 작동했습니다. 그리고 실제로 작동했습니다.

작동 원리

70B 모델은 보통 약 140GB의 RAM을 차지합니다. 4-bit로 압축하더라도 여전히 35GB가 필요합니다. 대부분의 노트북은 이를 갖추고 있지 않습니다.

AirLLM은 이를 8GB까지 낮춥니다. 모델을 다르게 로드합니다. 모든 것을 한꺼번에 RAM에 넣는 대신, 부분적으로 로드합니다. 당신이 질문을 하면, 필요한 레이어(layer)를 로드하여 답변한 다음, 다음 레이어를 위해 그것들을 교체(swap)합니다.

마치 1,000페이지를 한꺼번에 들고 있는 대신 책을 한 페이지씩 읽는 것과 같습니다. AirLLM은 모델을 대상으로 이 작업을 수행합니다. 모델은 여전히 700억 개의 파라미터(parameter)를 가지고 있습니다. 여전히 똑똑하지만, 그 모든 메모리를 동시에 필요로 하지는 않습니다.

이 기술은 메모리 매핑(memory mapping)과 레이어 스와핑(layer swapping)을 사용합니다. 둘 다 오래된 개념이지만, 이들을 하나의 도구로 결합한 것이 성공의 핵심이었습니다.

빠른가요?

아니요. 노트북의 8GB RAM에서 70B 모델을 실행하는 것은 서버에서 실행하는 것보다 느립니다. 작동 여부를 위해 속도를 희생하는 것입니다.

8GB RAM을 탑재한 2021년형 MacBook에서 AirLLM은 초당 약 3-5개의 토큰 (tokens per second)을 생성합니다. 이는 읽을 수 있는 수준입니다. 즉각적이지는 않지만, 대화를 나누고 질문을 던지는 등 여전히 사용 가능한 수준입니다.

16GB RAM을 탑재한 더 빠른 노트북이라면? 아마 초당 8-12개의 토큰일 것입니다. 실시간에 가깝습니다.
GPU가 장착된 서버라면? 초당 50-100개의 토큰입니다. 이것이 사람들이 기대하는 속도입니다.

따라서 AirLLM은 더 느리지만, 작동할 것으로 기대되지 않는 컴퓨터에서도 작동합니다.

누가 사용할 수 있는가?

학생들은 AI를 배우기 위해 10,000달러짜리 컴퓨터가 필요하지 않습니다. 부모님이 사주신 노트북에서도 거대한 모델을 실행할 수 있으며, 이는 학습에 있어 가장 큰 장벽을 제거해 줍니다.

개발자들은 데이터를 클라우드 (cloud)로 보내지 않고도 로컬 (locally)에서 AI를 테스트할 수 있습니다. 코드는 자신의 머신에 머물고 질문은 비공개로 유지됩니다.

소규모 기업들은 AWS나 Google Cloud로부터 GPU 서버를 임대할 필요가 없습니다. 일반적인 컴퓨터에서 모델을 실행할 수 있습니다. 이는 매달 수천 달러를 절약해 줍니다.

어떤 모델이 작동하는가?

AirLLM은 LLaMA 2 70B, Mistral 7B, Gemma 2 27B를 지원하며, RAM이 더 많다면 Falcon 180B도 지원합니다.

70B 모델이 가장 적절한 지점 (sweet spot)입니다. 압축했을 때 노트북에 들어갈 만큼 충분히 작으면서도, 똑똑할 만큼 충분히 큽니다.

더 작은 모델을 더 빠르게 실행할 수도 있습니다. AirLLM에서 7B 모델은 일반적인 노트북에서 초당 20-30개의 토큰으로 실행되며, 이는 즉각적인 수준입니다.

트레이드오프 (Tradeoffs)

속도가 더 느립니다: 서버에서 실행하는 70B 모델은 10-20배 더 빠릅니다. 프로덕션 (production) 환경을 위해 속도가 필요하다면 AirLLM은 당신을 위한 것이 아닙니다.

품질이 약간 저하됩니다: 모델이 4-bit로 압축되므로 정밀도 (precision)가 낮아짐을 의미합니다. 하지만 여전히 답변을 잘 하며 말이 됩니다.

모델은 약 35GB의 디스크 공간을 차지합니다. 따라서 약 10분 정도 지나면 노트북이 뜨거워지고 팬 소음이 커질 수 있습니다.

실행 방법

Python이 필요합니다.

bash
pip install airllm

Hugging Face에서 모델을 다운로드하세요:

python
from airllm import AirLLM

model = AirLLM("meta-llama/Llama-2-70b-hf")
...

최종 생각

AI는 더 이상 자본을 가진 기업들에 의해 통제되지 않습니다. 클라우드 서버로 질문을 보내거나, API 호출 비용을 지불하거나, 기업이 접근 권한을 줄 때까지 기다릴 필요가 없습니다. 여러분의 컴퓨터에서 직접 모델을 실행할 수 있습니다.

완벽하거나 빠르지는 않지만, 작동합니다. 그리고 8GB RAM을 가진 노트북에서도 작동합니다.

몇 년 전만 해도 70B AI 모델을 실행하는 것은 환상과 같았습니다. 데이터 센터가 필요했습니다. 하지만 이제는 노트북만 있으면 됩니다. 이것은 권력의 이동입니다.

AI는 더 이상 부유한 사람들만을 위한 것이 아니라, 컴퓨터를 가진 누구에게나 열려 있습니다.

Resources

• AirLLM GitHub — 주요 도구
• LLaMA 2 70B on Hugging Face — 모델 다운로드

참고: AI의 도움을 받아 편집되었습니다.