전용 GPU가 없는 4코어 노트북 CPU에서 80억 매개변수 LLM 구동하기: 초당 6 토큰

원문 발행 2026. 10. 29. 20:39원문 언어 영어AI 한국어 번역Dev.to AI tag 원문 보기

요약

전용 GPU가 없는 노트북 CPU 환경에서 80억 매개변수 LLM 구동 가능성을 분석했습니다. 쓰기 작업은 메모리 대역폭에 의해 제한되며, 통합 GPU보다 CPU만 사용하는 것이 더 효율적일 수 있습니다. 또한, KV 캐시 크기와 CPU 전력 제한 조정이 성능 및 발열 관리에 중요한 영향을 미칩니다.

핵심 포인트

쓰기 속도는 컴퓨팅 파워보다 메모리 대역폭에 의해 제한됨.
통합 GPU는 읽기 작업은 빠르나, 쓰기 작업에서는 CPU가 더 효율적일 수 있음.
CPU 전력 제한을 낮추면 발열 스파이크를 줄이면서도 성능 저하 없이 구동 가능함.
KV 캐시 크기는 단기 테스트 외에 장기 벤치마크에서 전력 및 속도를 고려해야 함.

저는 i7-1165G7, 12GB RAM을 탑재하고 전용 GPU가 없는 HP 노트북에서 80억 개의 매개변수를 가진 Llama-3 모델 (Q4_K_M)을 실행했습니다.

측정 항목	결과
작성 속도 (새 채팅)	6.1–6.5 tokens/sec
...

초당 6 토큰으로 출력 속도는 대략 읽는 속도와 비슷합니다.

세 가지 결과가 저를 놀라게 했습니다.

통합 GPU의 성능이 더 느렸습니다. Iris Xe는 CPU보다 프롬프트를 거의 4배 빠르게 읽었지만, 답변을 작성하는 속도는 2.5배 느렸습니다. 쓰기 작업은 메모리 대역폭에 의해 제한되며, 통합 GPU는 CPU의 메모리를 공유합니다.

8비트 KV 캐시가 절약한 것보다 더 많은 비용을 초래했습니다. 짧은 벤치마크에서는 무료로 보였습니다. 실제 1,700 토큰 요약 작업에서 16비트 캐시는 234초 대신 173초 만에 완료되었고, 7°C 더 시원하게 작동했습니다.

CPU 전력 제한을 낮추는 것은 비용이 들지 않았습니다. 단기 제한을 51W에서 22W로 줄이자 98°C의 시작 스파이크가 사라졌고, 쓰기 속도는 변하지 않았습니다.

더 많은 정보에 관심이 있다면, 하드웨어 세부 정보, 모든 벤치마크 표, 정확한 llama.cpp 명령어, 그리고 전력 제한을 위한 systemd 서비스가 포함된 전체 글을 참고하세요:

👉 HP 노트북 CPU만으로 8B SLM 구동하기

AI 자동 생성 콘텐츠

원문 바로가기

전용 GPU가 없는 4코어 노트북 CPU에서 80억 매개변수 LLM 구동하기: 초당 6 토큰

요약

핵심 포인트

댓글