YouTube에는 "노트북에서 로컬 LLM을 실행하여 Claude/GPT를 무료로 대체하세요"와 같은 영상이 넘쳐납니다. 저는 실제로 두 대의 서로 다른 기기에서 몇 주 동안 이를 시도해 보았습니다. 짧은 결론을 말씀드리자면: 단발성 질문에 답하는 용도로는 유용합니다. 하지만 opencode나 자체 에이전트(Hermes)와 같이 상태(state)를 바탕으로 추론하고, 어떤 도구(tool)를 호출할지 결정하며, 엄격한 출력 계약(output contract)을 유지해야 하는 실제 에이전트적(agentic) 사용에는 아직 적합하지 않습니다.

설정 (The setup)

• Pithias: 전용 서버, Ubuntu 24.04, AMD Ryzen 5 5600G (APU, 외장 GPU 없음), 약 16GB RAM.
• Vulkan 지원으로 컴파일된 llama.cpp: APU의 내장 GPU를 활용하기 위함 — NVIDIA 외장 GPU 없이는 CUDA를 사용할 수 없으므로, AMD 내장 하드웨어에서 가속을 위한 합리적인 방법은 Vulkan입니다.
• Ollama: 범용 모델이 아닌 코드 작업에 특화되어 훈련된 qwen2.5-coder:7b를 베이스 모델로 실행 중.

작동하는 부분

광범위한 컨텍스트를 유지하거나 의사결정을 연쇄적으로 수행할 필요가 없는, 단발성(single-turn)의 구체적인 질문들: "이 에러를 설명해줘", "이 함수를 생성해줘", "이 코드 블록이 무엇을 하는지 알려줘"와 같은 경우입니다. 이 경우 모델은 합리적으로 잘 응답하며 수용 가능한 시간 내에 결과를 내놓습니다. 만약 당신의 사용 사례가 고립된 질의응답 채팅이라면, 로컬에서 실행하는 것이 완전히 실행 가능합니다.

실패하는 부분: 실제 에이전트적(agentic) 사용

opencode와 Hermes는 질문을 던지고 답변을 기다리는 것이 아니라 단계를 연쇄적으로 수행합니다. 모델이 어떤 도구(tool)를 호출할지 결정하고, 결과를 받고, 다음 단계를 결정하는 과정을 하나의 작업 내에서 반복합니다. 이는 APU에서 실행되는 7B 모델이 신뢰할 수 있는 방식으로 유지하기 어려운 세 가지 요소를 요구합니다:

1. 부하 상황에서의 실제 컨텍스트 윈도우 (Context Window). 이론적으로 모델은 넓은 컨텍스트를 지원합니다. 하지만 실제로는 대화 기록, 도구 카탈로그의 시스템 프롬프트 (System Prompt), 그리고 각 단계의 중간 결과물들이 누적됨에 따라, 유효한 컨텍스트는 공지된 것보다 훨씬 일찍 고갈됩니다. 모델은 여러 단계로 이루어진 작업을 수행하는 도중에 시스템 프롬프트의 초기 지침을 "망각"하기 시작하며, 이는 바로 모델이 지침을 기억해야 할 가장 중요한 시점에 발생합니다.

2. 컨텍스트 압박 상황에서의 출력 계약 (Output Contract) 준수. 7B 모델은 훨씬 더 큰 규모의 모델에 비해 엄격한 JSON 스키마 (Schema)를 따를 수 있는 여유가 이미 적습니다. 여기에 거의 가득 찬 컨텍스트까지 더해지면, 스키마를 준수하지 않는 출력 비율이 가장 긴 작업에서 급증합니다. 그리고 이 긴 작업들이야말로 에이전트에게 진정으로 중요한 작업들입니다.

3. 연쇄된 의사결정에서의 추론 속도 (Inference Speed). 단일 질문은 몇 초 정도 기다려도 문제가 없습니다. 하지만 완료를 위해 모델의 5~10단계 연쇄 의사결정이 필요한 에이전트적 (Agentic) 작업은 각 단계마다 해당 지연 시간 (Latency)이 누적됩니다. 한 번은 용인할 수 있는 수준일지라도, 이것이 10단계 연속으로 곱해지면 수용 불가능한 수준이 됩니다.

유튜브의 담론이 맞지 않는 이유

"로컬 LLM + 코드 에이전트, 완벽하게 작동함"을 보여주는 영상들은 거의 항상 단일 단계 작업을 시연하거나, 누군가가 "노트북에서도 가능"하다고 설명하는 수준을 훨씬 상회하는 하이엔드 외장 GPU (Discrete GPU)가 장착된 하드웨어에서 실행됩니다. "질문에 잘 답변하는 것"과 "엄격한 계약을 바탕으로 의사결정 체인을 유지하는 것" 사이의 간극이 바로 로컬 7B 모델과 전용 인프라에서 실행되는 Claude 또는 GPT 같은 모델 사이의 차이가 존재하는 지점입니다.

로컬 모델 사용이 실제로 의미 있는 경우

더 큰 파이프라인 내에서 제한된 범위의 단일 단계 (single-turn) 작업을 수행하기 위한 저비용 레이어로서 사용하십시오. 예를 들어 단순한 자동 완성 (autocompletion), 짧은 텍스트 분류, 도구 체이닝 (tool chaining)이 필요 없는 FAQ 응답 등이 이에 해당합니다. 전체 에이전트를 오케스트레이션 (orchestrate)하는 모델의 대체재로 사용해서는 안 됩니다.

복사하여 붙여넣기 위한 요약

1. NVIDIA 외장 GPU가 없는 AMD APU 환경에서 가속화를 위한 실행 가능한 방법은 Vulkan + llama.cpp 조합입니다.
2. 7B 규모의 로컬 모델은 개별적인 질문에는 잘 응답하지만, 다단계 에이전트 작업 (agentic tasks)을 수행하기에는 부족합니다.
3. 에이전트 부하 상황에서 실제로 사용 가능한 컨텍스트 (context) (시스템 프롬프트 + 히스토리 + 중간 결과물)는 모델이 광고하는 수치보다 훨씬 적습니다.
4. 로컬 모델은 전체 에이전트의 두뇌가 아닌, 더 큰 파이프라인 내의 단일 단계 (single-turn) 작업을 위해 남겨두십시오.