사내에서 로컬 LLM(Large Language Model)을 구동하려면, 먼저 필요한 메모리 용량과 비용에 따라 장비가 결정됩니다. 공식 스펙과 실제 판매 가격을 바탕으로 사용 목적별로 무엇을 구매해야 하는지 정리했습니다.

사내에서 로컬 LLM을 구동하고 싶다고 해도, GPU의 제품명이나 성능 수치만 비교해서는 무엇을 사야 할지 결정할 수 없습니다. 먼저 답해야 할 두 가지 질문은 '무엇을 구동하고 싶은가'와 '얼마나 비용이 드는가'입니다.

본 기사에서는 공식 모델 크기, 하드웨어 사양, 클라우드 및 API 가격을 연결하여 정보 시스템 담당자(情シス)나 경영진이 회사에 필요한 선택지를 판단할 수 있도록 정리했습니다.

• 왜 지금 하드웨어 이야기를 해야 하는가
• 무엇을 구동하고 싶은지에 따라 필요한 메모리가 결정된다
• 속도는 카탈로그의 성능 수치가 아니라 '메모리 대역폭'으로 결정된다
• 구매하기 전에 알아야 할 4가지 함정
• 구매/임대/API 사용 중 어느 것이 가장 저렴한가
• 요약

"사내에서도 AI를 구동하고 싶다"고 생각할 때, 많은 담당자는 먼저 GPU의 제품명이나 성능 수치를 비교하기 시작합니다. 하지만 그것만으로는 장비를 결정할 수 없습니다. 필요한 성능은 무엇을 구동하느냐에 따라 결정되기 때문입니다.

이러한 판단을 지금 당장 내릴 필요가 있는 이유는 AI 관련 수요가 메모리 가격과 공급 조건 자체를 변화시키고 있기 때문입니다. Micron의 2026년 5월기 3분기 실적 발표에서는 DRAM의 평균 판매 가격이 전 분기 대비 60%대, NAND는 80%대 상승했으며, 일본은행의 기업 물가 지수(2026년 6월 속보)에서도 수입 물가의 전기/전자 기기가 전년 대비 25.7% 상승했고, 상승 품목으로는 외부 저장 장치 등이 언급되었습니다. 게다가 Micron은 2025년 12월, AI 데이터센터 시장에서 급증하는 메모리 수요를 이유로 소비자용 브랜드 Crucial에서의 철수를 발표했습니다. AI 관련 수요로 인해 메모리 가격이 오르고 개인 및 법인 대상 공급이 뒤로 밀리고 있는 상황이므로, 구매 결정을 미룰수록 조건은 악화됩니다. 따라서 지금 당장 '무엇을 어떻게 선택할지'에 대한 기준이 필요합니다.

애초에 로컬 방식을 선택하는 주된 동기 중 하나인 "클라우드 API로 전송한 정보가 학습에 사용되는 것이 아닐까"라는 우려는 사실과 구분하여 생각해야 합니다. OpenAI는 명시적으로 옵트인하지 않는 한 API로 전송된 데이터를 모델의 학습이나 개선에 사용하지 않는다고 설명했으며, Anthropic의 Commercial Terms 역시 서비스상의 고객 콘텐츠를 모델 학습에 사용하지 않도록 규정하고 있고, Google 또한 유료 서비스의 프롬프트나 응답을 제품 개선에 사용하지 않는다고 명시하고 있어, 주요 세 회사 모두 업무 이용 데이터 처리에 대해 공식적으로 밝히고 있습니다.

그럼에도 불구하고 사내에 장비를 보유해야 하는 이유는 폐쇄망이나 오프라인에서만 다룰 수 있는 현장이 있거나, 사규나 업계 규제상 외부 전송 자체가 허용되지 않기 때문이며, 대량으로 처리할 경우 API 과금이 크게 발생하기 때문입니다.

반대로, "정보 유출이 무서워서"라는 이유만으로 로컬 방식을 선택하는 것은 판단으로서 충분하지 않습니다. 각 회사의 데이터 이용 조건을 확인한 후에도 남아있는 폐쇄망/규제/가동량 요구 사항을 근거로 선택해야 합니다.

장비부터 선택하지 마십시오. 구동하고 싶은 모델부터 결정하십시오. 모델이 결정되면 필요한 메모리가 정해지고, 필요한 메모리가 결정되면 장비는 거의 유일하게 결정됩니다.

양자화(Quantization)란 모델의 가중치 정밀도를 낮춰 파일을 작게 만드는 처리입니다. llama.cpp 공식 벤치마크에서 Q4_K_M 이상이라면 품질 저하가 매우 적지만, Q2_K까지 낮추면 명확하게 악화됩니다. 우선은 Q4_K_M 정도를 기준으로 삼는 것이 좋습니다. 용량과 품질의 균형을 맞추기 쉽습니다.

| 용도 | 현실적인 모델 | 양자화 후 크기 (공식 측정) | 필요한 메모리 기준 | 수용 가능한 장비 (세금 포함 실액) |
|---|---|---|---|
| 사내 문서 요약/초안 작성 (한국어) | Qwen3-14B | Q4_K_M 9GB | 16GB | Mac mini M4 Pro 24GB 약 28만 엔 / RTX PRO 4000 24GB 약 34~42만 엔 |
| ... |
Qwen3-14B, gpt-oss-20b, gpt-oss-120b, Gemma 4 31B는 모두 Apache 2.0 라이선스로 상업적 이용이 가능합니다. Llama 3.3 70B-Instruct는 Llama 3.3 Community License이며, 월간 활성 사용자 수가 7억 명을 초과하는 기업에 한해 Meta의 허가가 필요합니다.

모든 크기는 공식 배포 페이지의 실측 파일 크기이며, 취득일은 2026년 7월 31일입니다. gpt-oss-20b는 공식적으로 "16GB 메모리에서 동작한다"라고 설명되어 있으며, gpt-oss-120b는 "단일 80GB GPU에 들어간다"라고 설명되어 있습니다. 필요 메모리의 기준은 모델 본체의 크기에 동시 이용분을 위한 여유를 더하여 본 기사에서 산출한 개산치입니다 (자세한 내용은 후술).

LLM이 답변을 한 단어씩 생성하는 디코딩 (Decoding) 단계에서는 연산 능력보다 모델의 가중치 (Weights)를 메모리에서 얼마나 빠르게 읽어올 수 있는지가 중요합니다. NVIDIA는 디코딩을 "메모리 대역폭 제한 작업 (memory-bound operation)"이라고 설명하며, Apple 또한 후속 토큰의 생성은 연산 능력이 아니라 메모리 대역폭 (Memory Bandwidth)에 의해 제약된다고 밝히고 있습니다.

Apple의 실측에 따르면, M4의 120GB/s에서 M5의 153GB/s로 대역폭이 28% 증가했을 때, 생성 속도는 19~27% 향상되었습니다. 대역폭과 생성 속도가 거의 비례하는 사례입니다.

다음 식은 출처에 게재된 식이 아니라, 위의 공식 설명을 바탕으로 본 기사에서 배치 (Batch) 하나를 전제로 구성한 개산식입니다.

초당 생성 가능한 토큰 수의 상한 ≒ 메모리 대역폭(GB/s) ÷ 모델 크기(GB)
예) 대역폭 819GB/s인 장비에서 9GB 모델 → 초당 약 90토큰이 상한

단, 상한치만큼 나오지는 않습니다. llama.cpp 공식 실기 측정에서는 7B Q4_K_M 기준 M2 Max가 18.2 tok/s, RTX 4080이 62.5 tok/s였습니다. 실측치는 개산 상한의 절반에서 수 분의 일 정도로 보고 있는 것이 안전합니다.

GeForce RTX 5090의 공식 페이지는 "NVIDIA NVLink (SLI-Ready): No"라고 명시하고 있으며, RTX 6000 Ada의 데이터 시트도 "NVIDIA NVLink: No"라고 명기되어 있습니다. 여러 장을 꽂더라도 PCIe를 경유하는 독립 GPU이며, VRAM은 합산되지 않습니다. 큰 모델을 구동하려면 한 장당 VRAM이 큰 GPU를 선택해야 합니다.

RTX PRO 6000의 TDP는 600W입니다. 일본 사무실의 일반적인 기준으로 100V·15A 계통은 순간 최대 1500W이므로, PC 본체를 포함하면 한 계통의 대부분을 점유하게 됩니다. 두 장을 장착하면 GPU만으로 1200W를 초과하므로 동일 계통에서는 성립되지 않습니다. 서버실이나 전력 공사까지 포함한 검토가 필요합니다.

Ollama 공식에서는 병렬 실행 수는 기본값 1이며, 필요 RAM은 "병렬 수 × 컨텍스트 길이 (Context Length)"에 비례합니다. 여러 명이 동시에 사용한다면 모델 본체와는 별도로 KV 캐시 (KV Cache)를 위한 여유가 필요합니다. 한 대의 장비로 전사 사용을 감당하려는 구상은 처음부터 피해야 합니다.

Moonshot AI의 Kimi K3는 총 파라미터 2.8조, 액티브(Active) 104B의 MoE (Mixture of Experts) 모델로, 2026년 7월에 가중치가 공개되었습니다. 공식 운영 환경으로는 "64기 이상의 가속기(Accelerator)로 구성된 슈퍼노드"가 언급되어 있습니다. 공식적인 양자화 (Quantization) 버전 배포는 없습니다.

라이선스 또한 독자적인 "Kimi K3 License"이며, 일정 규모 이상의 상업적 이용에는 추가 조건이 붙습니다.

Kimi K3를 구동하는 데 필요한 것 (본 기사의 환산 기준)
공식 운영 환경: 가속기 64기 이상의 슈퍼노드
├ AWS의 H100×8 탑재 인스턴스 (p5.48xlarge, $68.80/시간)로 치환 시 8개 노드
...

위의 숫자는 공식이 제시하는 운영 환경과 공식 파라미터 수·양자화 형식 (MXFP4)에 본 기사에서 AWS 클라우드 요금과 장비 가격을 곱하여 환산한 것입니다. KV 캐시나 중복 구성 (Redundancy)은 포함되지 않았으므로 실제로는 더 많이 필요합니다. 이 정도 단계에 이르면 "자사의 장비 1대로 구동한다"는 규모의 이야기가 아닙니다. 화제가 된 모델에서 가장 먼저 확인해야 할 것은 성능에 대한 평판이 아니라 파라미터 수, 양자화 형식, 라이선스 조건이라는 세 가지 요소입니다.

API 가격은 1M 토큰당 입력/출력 기준입니다.

손익분기점은 다음 식에 자사의 조건을 대입하여 비교합니다.

월간 자사 비용 = 구매 가격 ÷ (내용 연수 × 12) + 소비 전력(kW) × 전력 단가 × 월간 가동 시간 + 유지보수 운영비
월간 대여 비용 = 클라우드 시간당 단가 × 월간 가동 시간

• 구입 가격: 장비의 세금 포함 구입액
• 내구 연수: 자사에서 사용할 예상 연수
• 소비 전력(kW): 장비의 소비 전력
• 전력 단가: 계약 중인 1kWh당 단가
• 월간 가동 시간: 한 달 동안 가동하는 시간
• 유지보수 운영비: 모델 업데이트나 장애 대응에 드는 월간 비용

전기 요금의 기준은 자원 에너지청(資源エネルギー庁)의 사업자 대상 전 사업자 평균이 20.53엔/kWh(2024년도), 도쿄 전력(東京電力)의 고압 베이직(高圧ベーシック)이 17.43엔/kWh입니다.

먼저 API로 시작하고, 폐쇄망(閉域網) 요건이 발생하거나 가동 시간이 늘어나 자사 구매가 월간 비용 면에서 더 저렴해지는 시점에 구매합니다. 이것이 순서입니다. 순서를 틀리면 한 달에 수십 시간밖에 돌리지 않는 장비에 수백만 엔을 지불하게 됩니다.

• 장비부터 고르지 않는다. 구동하고 싶은 모델부터 결정한다
• Q4_K_M 정도의 양자화(Quantization)라면 품질 저하는 매우 미미하다. 우선 사이즈를 줄여도 상관없다
• 속도는 메모리 대역폭(Memory Bandwidth)에 의해 거의 결정된다. 카탈로그상의 연산 성능이 아니다
• GPU를 나열해도 VRAM은 합산되지 않는다. 한 장당 용량으로 선택한다
• 오픈 웨이트(Open Weights)로 공개되어 있는 것과 자사에서 구동할 수 있는 것은 별개다. 파라미터(Parameter) 수와 라이선스로 판단한다
• 먼저 API로 시작한다. 폐쇄망 요건이 생기거나 가동 시간이 손익분기점을 넘었을 때 구매한다

본 기사의 수치는 모두 2026년 7월 31일 시점의 공식 정보 및 실제 판매 가격입니다.