LM Studio는 로컬 PC에서 대규모 언어 모델(LLM)을 구동하기 위한 데스크톱 애플리케이션입니다. 모델 검색, 다운로드, 채팅, API 서버화까지 GUI에서 한 번에 처리할 수 있기 때문에, '로컬 LLM을 사용해보고 싶지만 환경 구축 과정에서 막히고 싶지 않은' 사람들에게 표준적인 첫걸음으로 자리 잡았습니다.
본 기사에서는 LM Studio의 전체 구조를 Mermaid 다이어그램으로 정리하며 다음 순서에 따라 사용법을 살펴보겠습니다.
- LM Studio 구성 이해하기
- 설치 및 모델 선택 (양자화/메모리 추정)
- 채팅 화면 사용법과 파라미터
- OpenAI / Anthropic 호환 API 서버로 활용하기
- 코딩에 응용하기 (Continue / Cline / Aider / Claude Code / 자체 스크립트)
- CLI (
lms) 및 헤드리스 운영 (llmster)
- 문제 해결(Troubleshooting)
info
본 기사는 LM Studio 0.4 버전을 전제로 합니다. 버전에 따라 메뉴 이름이나 기능이 변경될 수 있으므로, 최신 정보는 공식 문서와 Changelog도 함께 확인해 주십시오.
먼저 LM Studio가 어떤 구성 요소들로 이루어져 있는지 개괄적으로 살펴보겠습니다.
핵심 포인트는 3가지입니다.
| 요소 | 역할 |
|---|
| 런타임 (Runtime) | 실제로 추론을 수행하는 엔진. GGUF 형식은 llama.cpp를, Apple Silicon용 MLX 형식은 MLX로 구동됩니다. |
| 추론 코어 (llmster) | 모델의 로드/언로드, 요청 처리를 담당하는 본체입니다. 0.4 버전부터 GUI 없이도 단독으로 실행할 수 있게 되었습니다. |
| API 서버 | 로드된 모델을 OpenAI 호환 또는 Anthropic 호환 등의 HTTP API로 외부에 공개합니다. |
GUI는 어디까지나 '추론 코어를 조작하기 위한 프런트엔드' 중 하나이며, CLI나 API를 통해서도 동일한 코어를 조작할 수 있다는 구조를 이해하고 있으면 이후 학습에 도움이 됩니다.
공식 웹사이트에서 OS에 맞는 설치 파일을 다운로드하여 실행하기만 하면 됩니다.
| OS | 대응 상황 및 비고 |
|---|
| macOS | Apple Silicon (M1 이상) 대상. MLX 런타임 사용 가능 |
| ... | |
| info | |
| LM Studio는 개인 이용뿐 아니라 업무 이용도 무료로 가능합니다 (2025년 7월에 라이선스가 변경되었습니다). 회사 내에서 사용할 경우에도 만약을 대비해 최신 이용 약관을 확인하는 것이 안전합니다. | |
최초 실행 시 온보딩 화면이 나타나 추천 모델 다운로드를 유도합니다. 이 단계는 건너뛰어도 무방합니다.
LM Studio의 왼쪽 사이드바에는 주로 4가지 탭이 있습니다.
기본적인 흐름은 Discover에서 찾기 → My Models에 들어가기 → Chat 또는 Developer에서 로드하여 사용하기입니다.
로컬 LLM을 사용할 때 가장 고민되는 부분이 모델 선택입니다. 여기서는 '양자화(Quantization)'와 '메모리 추정'의 두 가지 관점에서 정리하겠습니다.
LLM의 가중치(weight)는 본래 16bit (FP16 / BF16) 부동소수점으로 저장되어 있습니다. 이를 8bit, 4bit 등으로 압축한 것이 양자화 모델입니다. 정확도를 약간 희생하는 대신 파일 크기와 필요한 메모리를 크게 줄일 수 있습니다.
Discover 화면에서 모델을 열면, 같은 모델임에도 불구하고 Q4_K_M, Q5_K_M, Q8_0 등 여러 파일이 나열되어 있습니다. 이것이 양자화의 종류입니다.
어려우면 Q4_K_M을 선택하는 것이 정석적입니다. 크기와 품질의 균형이 좋고, 많은 환경에서 실용적인 속도를 보여줍니다. 메모리에 여유가 있다면 Q5_K_M이나 Q6_K로 올리는 순서로 생각하면 좋습니다.
| 형식 | 런타임 | 적합한 환경 |
|---|
| GGUF | llama.cpp | Windows / Linux / Mac 모두 사용 가능. GPU와 CPU 병용(부분 오프로드)이 가능 |
| MLX | Apple MLX | Apple Silicon Mac. 유니파이드 메모리를 활용하여 빠르게 구동되는 경우가 많음 |
Mac을 사용한다면, 같은 모델에 MLX 버전이 있다면 이를 시도해 볼 가치가 있습니다.
모델을 구동하는 데 필요한 메모리는 대략 다음 공식으로 추정할 수 있습니다.
필요 메모리 ≈ 파라미터 수 × (양자화 비트 수 ÷ 8) + KV 캐시 + 여유 공간(1~2GB)
예를 들어, 8B (80억 파라미터) 모델을 Q4_K_M (실효 약 4.5비트)으로 구동할 경우,
8B × 4.5 ÷ 8 ≈ 4.5GB + KV 캐시(컨텍스트 길이에 비례)
이 되며, 8GB 정도의 VRAM / 유니파이드 메모리가 있다면 원활하게 구동할 수 있는 계산입니다.
다만 간과하기 쉬운 것이 KV 캐시입니다. 이는 대화의 문맥을 유지하기 위한 메모리이며, 컨텍스트 길이에 비례하여 증가합니다.
같은 모델이라도 컨텍스트 길이를 8K에서 32K로 늘리는 것만으로도 8GB에 들어가지 않게 됩니다. '모델은 로드되었는데 긴 대화에서 다운된다'고 느껴진다면, 가장 먼저 이 부분을 의심해 봐야 합니다.
대략적인 기준을 표로 정리하면 다음과 같습니다:
| 파라미터 수 | Q4_K_M 파일 크기 예상 | 권장 메모리 (VRAM / 유니파이드 메모리) |
|---|
| 1~4B | 1~2.5GB | 4~6GB |
| ... | | |
| info | | |
LM Studio의 Discover 화면에서는 각 파일에 'Full GPU Offload Possible', 'Partial GPU Offload Possible', 'Likely too large'와 같은 예상치가 표시됩니다. 일단은 이 표시를 신뢰하고 선택하는 것이 가장 빠릅니다.
Discover 화면에서는 모델별로 👁️(Vision)이나 🔧(Tool Use), 🧠(Reasoning)와 같은 능력 아이콘이 표시되므로, 용도에 맞춰 필터링할 수 있습니다.
또한 최근에는 MoE (Mixture of Experts) 모델도 늘어나고 있습니다. 총 파라미터 수는 크더라도, 추론 시 사용하는 것은 일부 '전문가(expert)'들뿐이기 때문에, 동 규모의 Dense 모델보다 빠르게 구동되는 경향이 있습니다. 다만 가중치 전체는 메모리에 로드해야 하므로, 필요 메모리는 총 파라미터 수로 예상하는 점에 주의해야 합니다.
지금까지의 고려 사항을 바탕으로, 2026년 10월 기준으로 LM Studio에서 구할 수 있는 대표 모델들을 메모리별로 정리했습니다.
| 모델 | 개발사 | 구조 | 특징 | 추천 사용자 |
|---|
| Qwen3.5-9B | Alibaba (Qwen) | Dense / 이미지 입력 대응 | 작지만 범용성이 높음. 262K 컨텍스트 | 첫 번째 선택지. 8GB 환경 |
| Gemma 4 E4B | - | Dense / 멀티모달 | 기기(Device)에 최적화된 경량 모델 | 노트북 PC에서 이미지도 다루고 싶은 경우 |
| gpt-oss-20b | OpenAI | MoE | 추론(Reasoning)과 도구 호출이 안정적. Apache 2.0 | 16GB 환경의 주력 모델 |
| Gemma 4 26B-A4B | - | MoE (총 25.2B / 활성 3.8B) | 4B급 속도로 구동. 256K 컨텍스트 | 빠르면서 똑똑함을 모두 원하는 경우 |
| Qwen3.8-27B | Alibaba (Qwen) | Dense / 이미지 입력 대응 | 동 규모에서 높은 성능. 262K 컨텍스트 | 24GB GPU로 품질을 중시하는 경우 |
| Qwen3.6-35B-A3B | Alibaba (Qwen) | MoE (총 35B / 활성 3B) | 에이전트적인 코딩이나 리포지토리 단위의 추론 강화 | 로컬에서 코딩 에이전트를 사용하고 싶은 경우 |
| gpt-oss-120b | OpenAI | MoE | 로컬에서 구동 가능한 최상위 클래스 모델 | 64GB 이상의 Mac / 멀티 GPU 환경 |
LM Studio에서는 Discover 화면에서 모델 이름을 검색하거나, CLI를 통해 가져올 수 있습니다.
# 8GB 클래스
lms get qwen/qwen3.5-9b
# 16GB 클래스
...
info
로컬 LLM의 세계는 몇 달 단위로 주역이 바뀝니다. 위의 표는 어디까지나 2026년 10월 시점의 참고 자료입니다. Discover 화면의 'Staff Picks' 또는 각 모델의 Hugging Face 페이지에서 최신 버전과 라이선스를 확인한 후 사용해 주세요.
- 상단에 있는 'Select a model to load'를 클릭하거나 (
Cmd/Ctrl + L)
- 다운로드된 모델을 선택합니다.
- 로드 설정을 확인하고 'Load Model'을 누릅니다.
로드 시 주요 설정은 다음과 같습니다.
| 설정 | 설명 | 권장 값 |
|---|
| Context Length | 한 번에 처리할 수 있는 토큰 수 | 클수록 KV 캐시에서 메모리를 많이 사용합니다. 우선 4096~8192를 추천합니다. |
| GPU Offload | GPU에 올릴 레이어 수 | 모두 올라간다면 최대치로 설정합니다. 부족하면 줄여서 CPU와 분담하는 방식으로 사용합니다. |
| Flash Attention | 고속 어텐션 구현 | 지원 환경이라면 ON으로 설정할 경우 메모리와 속도가 개선되는 경우가 많습니다. |
| KV Cache Quantization | KV 캐시 양자화 | 긴 컨텍스트에서 메모리가 부족할 때 시도해 볼 수 있습니다. |
GPU Offload의 개념을 도식화하면 다음과 같습니다.
모든 레이어를 GPU에 올릴 수 있다면 가장 빠르지만, VRAM이 부족한 경우에는 일부를 CPU 쪽에 남겨둠으로써 '느리지만 작동하는' 상태로 만들 수 있습니다. 이것이 GGUF + llama.cpp의 강점입니다.
오른쪽 패널에서는 생성 시 파라미터를 조정할 수 있습니다.
| 파라미터 | 효과 | 활용 방법 |
|---|
| Temperature | 출력의 무작위성 | 정확도가 중요하다면 0.10.3, 창작성이 필요하다면 0.71.0을 사용합니다. |
| Top P / Top K | 후보 토큰 제한 | 기본적으로 모델이 권장하는 값을 그대로 사용하는 것이 좋습니다. |
| Repeat Penalty | 같은 표현 반복 억제 | 루프(반복)가 발생할 때 약간 높여줍니다. |
| System Prompt | 모델의 역할 및 어조 지정 | '한국어로 간결하게 답변해 주세요'와 같이 구체적으로 지시합니다. |
모델에 따라 권장 파라미터가 설정된 프리셋으로 로드될 수 있습니다. 우선 기본값(Default)으로 테스트해 보고,気になる 점이 있다면 조정하는 정도면 충분합니다.
채팅창에는 문서(PDF, 텍스트 등)나 이미지를 첨부할 수 있습니다.
파일 길이가 짧으면 전체 내용이 그대로 전달되며, 파일이 길 경우 자동으로 RAG(검색 증강 생성)를 통해 관련 부분만 전달됩니다. 이미지를 모델에게 읽히게 하려면 Vision 지원 모델을 선택해야 합니다.
LM Studio는 MCP (Model Context Protocol) 클라이언트 역할도 수행합니다. mcp.json에 MCP 서버를 등록하면, 채팅 중인 모델이 외부 도구를 호출할 수 있게 됩니다.
{
"mcpServers": {
"filesystem": {
...
}
}
오른쪽 사이드바의 'Program' 탭에서 'Install' → 'Edit mcp.json'을 선택하면 편집할 수 있습니다 (형식은 Cursor의 mcp.json과 동일합니다). 도구 호출에는 🔧 아이콘이 있는 Tool Use 지원 모델을 사용해 주세요.
주의사항:
MCP 서버는 로컬 파일이나 명령어에 접근할 수 있습니다. 신뢰할 수 없는 서버는 등록하지 않도록 주의하고, 도구 실행 시 확인 대화 상자의 내용도 읽어본 후 허용해야 합니다.
LM Studio의 진정한 가치는 로드한 모델을 로컬 API 서버로 공개할 수 있다는 점에 있습니다. 기존 OpenAI 전용 툴이나 라이브러리를 연결 대상만 변경하면 로컬 LLM으로 사용할 수 있습니다.
GUI를 통해: Developer 탭을 열고, 'Status: Stopped' 토글을 ON으로 설정합니다.
CLI를 통해:
기본적으로 http://localhost:1234에서 대기합니다.
| 종류 | 용도 |
|---|
| OpenAI 호환 | OpenAI SDK나 LangChain 등 기존 에코시스템을 그대로 사용할 수 있습니다. |
| Anthropic 호환 | Claude Code 등 Anthropic API 기반의 툴을 로컬 모델로 구동할 수 있습니다. |
| 네이티브 REST API | 모델의 로드 상태나 상세 통계 등 LM Studio 고유의 정보를 다룰 때 사용합니다. |
Developer 탭 설정에서 JIT (Just-In-Time) 로딩을 활성화해 두면, 요청으로 지정된 모델이 아직 로드되지 않았더라도 자동으로 불러옵니다. 나아가 **Auto Unload (TTL)**을 설정하면, 일정 시간 동안 사용되지 않은 모델을 자동으로 언로드하여 메모리를 확보할 수 있습니다.
# 로드된/사용 가능한 모델 목록 확인
curl http://localhost:1234/v1/models
# 채팅 시작...
...
에는 /v1/models
로 반환된 ID를 지정합니다.
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:1234/v1",
...
기존 코드의 base_url을 수정하는 것만으로 클라우드의 API에서 로컬 LLM으로 전환할 수 있습니다.
response_format에 JSON Schema를 전달하면 출력을 스키마에 맞춰 제약할 수 있습니다.
schema = {
"type": "object",
"properties": {
...
dेटा 추출이나 분류 작업(classification task)을 로컬에서 수행하고 싶을 때 유용합니다.
OpenAI 호환 API 외에도 LM Studio 전용 SDK가 제공됩니다. 모델의 로드 관리 등을 포함하여 다룰 수 있다는 것이 특징입니다.
import lmstudio as lms
model = lms.llm("qwen/qwen3.5-9b") # 미로드된 경우 로드됨
result = model.respond("Mermaid로 사용할 수 있는 다이어그램 종류를 알려줘")
...
TypeScript용으로는 @lmstudio/sdk가 있습니다.
Developer 탭의 서버 설정에서 'Serve on Local Network'를 활성화하면 localhost 외에서도 연결할 수 있게 됩니다 (CLI의 경우 lms server start --bind 0.0.0.0).
alert
네트워크에 공개하려면, 설정에서 API 토큰 인증을 활성화해야 합니다. 인증 없이 인터넷에 직접 공개하는 것은 피해야 합니다. 원격지에서 사용하고 싶다면, 후술할 LM Link나 VPN(Tailscale 등)을 경유하는 것이 안전합니다.
LM Studio의 API 서버를 구축해 두면, 에디터의 AI 어시스턴트나 코딩 에이전트의 백엔드로 로컬 LLM을 사용할 수 있습니다. 소스 코드를 외부로 전송할 필요가 없으므로, 회사 기밀 코드(社外秘)를 다루는 상황에서도 시도해 보기 쉽다는 장점이 있습니다.
코딩 용도로 사용할 때는 역할별로 모델을 분리하는 것이 핵심입니다.
| 용도 | 요구되는 특성 | 모델의 기준 | 컨텍스트 길이 |
|---|
| 코드 완성 (Tab 자동 완성) | とにかく 낮은 레이턴시 | 1~3B 규모의 코드 전용 모델(FIM 지원) | 2K~4K |
| 채팅・질문・리팩토링 | 코드 이해력 | 7~14B 규모의 코드 전용 모델 | 8K~16K |
| 에이전트 (파일 편집・명령어 실행) | Tool Use의 안정성・장문맥 | 30B 클래스(MoE가 빠르고 추천함) | 32K 이상 |
로드 예시 (CLI):
# 에이전트・채팅용 (긴 컨텍스트)
lms load qwen/qwen3.6-35b-a3b --context-length 32768 --gpu max --identifier coder
# 완성용 소형 모델 (동시 로드)
...
Continue는 채팅・인라인 편집・Tab 자동 완성을 통합적으로 제공하는 OSS 확장 기능입니다. LM Studio를 프로바이더로 직접 지정할 수 있습니다.
~/.continue/config.yaml의 예:
name: Local LM Studio
version: 0.0.1
schema: v1
...
이를 통해,
- 사이드바 채팅에서 코드에 대해 질문하기 - 코드를 선택하여
으로 인라인 편집을 지시하는 Cmd/Ctrl + I
- 입력 중에 Tab 자동 완성 후보를 표시하는
모든 작업이 로컬 LLM으로 구동됩니다.
Cline은 파일 읽기/쓰기나 명령어 실행까지 자율적으로 수행하는 코딩 에이전트입니다.
- VS Code에 Cline 확장을 설치합니다.
- Cline 설정에서 **API Provider를 'LM Studio'**로 선택하고 - Base URL에
http://localhost:1234,
Model ID에 coder를 지정합니다.
Cline은 각 작업을 수행하기 전에 승인을 요청하므로, 로컬 모델의 판단이 의심스러울 때도 그 자리에서 중지할 수 있습니다.
Aider는 Git과 연동된 터미널형 페어 프로그래밍 도구입니다. 변경 사항마다 자동으로 커밋해주기 때문에, 로컬 모델의 출력이 미묘하더라도 git으로 쉽게 되돌릴 수 있습니다.
pip install aider-install && aider-install
export LM_STUDIO_API_BASE=http://localhost:1234/v1
export LM_STUDIO_API_KEY=dummy
...
> src/utils.py의 parse_date에, ISO 8601 이외의 형식을 지원하도록 수정해
LM Studio 0.4.1에 추가된 Anthropic 호환 엔드포인트(/v1/messages)를 사용하면, Claude Code의 연결 대상을 LM Studio로 지정할 수 있습니다.
lms server start --port 1234
export ANTHROPIC_BASE_URL=http://localhost:1234
export ANTHROPIC_AUTH_TOKEN=lmstudio # 인증을 활성화한 경우 LM Studio의 API 토큰
...
Claude Code는 컨텍스트를 대량으로 소비하므로, 공식 문서에서는 25K 토큰 이상의 컨텍스트 길이로 모델을 로드하는 것이 권장됩니다.
info
로컬 모델은 Claude 본체에 비해 에이전트적인 작업 성능이 크게 떨어지는 경우가 많습니다. "오프라인 환경에서 테스트하기", "API 비용을 들이지 않고 동작 확인하기"와 같은 용도로 활용하는 것이 좋습니다.
도구를 사용하지 않고 SDK에서 직접 호출하여 개발 워크플로우에 통합할 수도 있습니다.
import subprocess
from openai import OpenAI
client = OpenAI(base_url="http://localhost:1234/v1", api_key="lm-studio")
...
```diff\n{diff}\n```
git add -p
python review.py
Git의 `pre-commit` 훅에 통합하면, 커밋 전에 매번 로컬에서 리뷰를 실행할 수 있습니다.
git diff --staged | python -c '
import sys
from openai import OpenAI
...
공식 SDK의 `.act()`를 사용하면, Python 함수를 도구로 모델에 전달하고, 모델이 필요할 때 호출하는 "에이전트 루프"를 몇 줄로 작성할 수 있습니다.
from pathlib import Path
import lmstudio as lms
ROOT = Path("./src").resolve()
...
alert
파일 쓰기나 셸 실행을 도구로 제공하면, 모델의 판단에 따라 해당 작업이 실행됩니다. 대상 디렉토리를 제한하거나, 쓰기 관련 기능은 사람의 확인 과정을 거치는 등 안전장치를 마련한 후에 사용해야 합니다.
-
**Temperature는 낮게 (0.1~0.3)**: 코드 생성은 재현성이 중요하므로, 무작위성을 낮춥니다 -
: 도구가 무엇을 보내고 있는지 알면, 작동하지 않는 원인을 특정하기 쉽습니다. `lms log stream`으로 실제 프롬프트를 확인하세요 -
**JIT 로드 + TTL 활성화**: 보완용/채팅용 모델을 필요한 때만 자동으로 로드/언로드할 수 있습니다
LM Studio에는 `lms`라는 CLI가 포함되어 있습니다. 처음 사용할 때는 한 번 LM Studio를 실행한 후, 다음 명령어로 경로를 설정합니다.
macOS / Linux
~/.lmstudio/bin/lms bootstrap
Windows (PowerShell)
...
새 터미널을 열어 `lms`가 사용 가능하다면 준비 완료입니다.
### 명령어 목록
| 명령어 | 설명 |
|---|---|
`lms ls` | 다운로드된 모델 목록 보기 |
`lms ps` | 현재 로드 중인 모델 목록 보기 |
`lms get <model>` | 모델 검색 및 다운로드 |
`lms load <model>` | 모델 로드 |
`lms unload <model>` / `lms unload --all` | 모델 언로드 (비활성화) |
`lms chat` | 터미널에서 채팅 실행 |
`lms server start` / `lms server stop` | API 서버 시작/정지 |
`lms server status` | 서버 상태 확인 |
`lms log stream` | 요청 및 모델 로그 실시간 표시 |
`lms runtime ls` / `lms runtime update` | 런타임(llama.cpp / MLX) 확인 및 업데이트 |
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
모델 다운로드
lms get qwen/qwen3.5-9b
컨텍스트 길이와 GPU 오프로드를 지정하여 로드
...
`--identifier`를 사용하면 API에서 호출할 때 사용할 모델 ID를 직접 지정할 수 있습니다. 스크립트에서 처리할 때 편리합니다.
0.4 버전부터는 GUI 없이 추론 코어만 구동하는 **llmster**를 이용할 수 있습니다. GPU 서버나 CI 환경 등 데스크톱 환경이 없는 장치에서 LM Studio를 사용하고 싶을 때 유용합니다.
Linux / macOS
curl -fsSL https://lmstudio.ai/install.sh | bash
데몬을 시작하여 모델 로드 및 서버 시작
...
GUI 버전과 비교했을 때의 사용처는 다음과 같습니다.
0.4.5에 추가된 **LM Link**를 사용하면 다른 장치에서 구동 중인 LM Studio에 연결하여, 마치 로컬에 있는 것처럼 해당 모델을 사용할 수 있습니다. 예를 들어, "평소에는 노트북 PC를 사용하고 무거운 모델은 집의 GPU 장비에서"와 같은 방식으로 활용할 수 있습니다.
로컬 LLM 툴로서 자주 비교되는 Ollama와의 차이점도 정리했습니다.
| 비교 항목 | LM Studio | Ollama |
|---|---|---|
| 주요 인터페이스 | GUI (+ CLI / 헤드리스) | CLI (+ 공식 앱) |
| 모델 확보 | Hugging Face를 GUI에서 검색 | `ollama pull`로 공식 라이브러리에서 다운로드 |
| Apple Silicon 최적화 | MLX 런타임 지원 | Metal (llama.cpp 계열)이 표준입니다. 2026년 3월부터 MLX 백엔드를 프리뷰 제공 |
| 양자화 선택 | 동일 모델의 양자화 차이를 GUI에서 비교하여 선택 가능 | 태그로 지정 |
| API | OpenAI / Anthropic 호환 + 네이티브 지원 | OpenAI 호환 + 네이티브 지원 |
| 라이선스 | 앱 자체는 프로프라이어터리(무료) | MIT (오픈 소스) |
두 도구 모두 OpenAI 호환 API를 제공하므로, 애플리케이션 측면에서는 교체가 용이합니다. "일단 GUI로 여러 모델을 시험해보고 적성에 맞는 것을 찾은 후, 실제 상시 구동 환경은 원하는 것으로 선택하는" 방식도 현실적입니다.
특히 흔하게 발생하는 문제가 **'Context Length를 너무 크게 설정하여 메모리 부족'** 현상입니다. 모델 본체가 로드되더라도 KV 캐시는 컨텍스트 길이에 비례하여 증가하기 때문에, 32K나 128K를 지정하면 한순간에 메모리가 부족해질 수 있습니다. 처음에는 작은 값으로 동작 확인을 먼저 진행하고, 필요에 따라 점진적으로 늘려가는 것을 권장합니다.
또한, `lms log stream`을 사용하여 서버 로그를 보면서 요청을 보내면, 어떤 모델에 어떤 프롬프트가 전달되고 있는지 확인할 수 있어 원인 분석(troubleshooting)에 도움이 됩니다.
LM Studio의 사용법을 전체적인 흐름으로 다시 한번 정리해 드립니다.
-
**GUI**를 통해 모델 검색부터 사용까지 쉽게 처리할 수 있습니다.
**양자화(Quantization)** (기준: Q4_K_M)와 **메모리 추정치**를 파악하면 모델 선택에 어려움을 겪지 않습니다.
**OpenAI / Anthropic 호환 API**를 사용하여 기존 도구를 그대로 로컬 LLM에 연결할 수 있습니다.
**Continue, Cline, Aider, Claude Code**와 같은 코딩 지원 도구도 연결 대상을 변경하는 것만으로 로컬 LLM에서 작동합니다.
또한 `lms` CLI의 **llmster**를 사용하면 스크립트화나 서버 운영도 할 수 있습니다.
클라우드 LLM과 비교했을 때 성능 면에서의 차이는 아직 있지만, "데이터를 외부로 전송할 필요가 없다", "API 비용이 들지 않는다", "오프라인에서 작동한다"는 장점이 큽니다. 우선은 사용자의 머신에 맞는 크기의 모델을 하나 다운로드하여 만져보는 것부터 시작해 보세요.
이 글은 Zenn에서도 공개했습니다.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
