검열이 적은 오픈소스 AI 모델들 정리해봄
DeepSeek, Qwen, Gemma, GPT-OSS, GLM 같은 모델들은 원본뿐 아니라 안전 필터나 답변 거절 성향을 줄인 수정 버전도 공개돼 있음
ChatGPT 같은 웹서비스를 사용하는 게 아니라 모델 파일을 직접 다운로드해서 내 PC에서 실행하는 방식임
인터넷 연결 없이 사용할 수도 있고, Ollama나 LM Studio를 이용하면 생각보다 어렵지 않게 실행할 수 있음
다만 엄밀히 말하면 전부 오픈소스는 아니고, 모델 가중치가 공개된 오픈웨이트 모델도 포함돼 있음 라이선스는 모델별로 다름 하지만 사용 서비스에 넣으려는게 아니라 개인이 쓰기에는 걱정없을듯
우선 어떤 모델들이 있는지부터 정리해봄
- DeepSeek-R1 Abliterated
DeepSeek-R1의 답변 거절 성향을 줄이도록 수정한 모델
1.5B부터 70B까지 다양한 크기가 있고, 작은 버전들은 대형 DeepSeek-R1의 추론 능력을 증류한 모델을 기반으로 함
Ollama 기본 제공 모델의 다운로드 용량은 다음과 같음
1.5B: 1.1GB
7B: 4.7GB
8B: 5.0GB
14B: 9.0GB
32B: 20GB
70B: 43GB
모델 크기가 클수록 일반적으로 더 복잡한 작업에 유리할 수 있지만, 그만큼 필요한 메모리도 늘어남
여기서 7B, 14B, 32B 같은 숫자는 파라미터 수를 의미함. 7B면 약 70억 개의 파라미터를 사용하는 모델이라는 뜻
참고로 여기서 말하는 70B는 원본 DeepSeek-R1 전체 모델이 아니라 70B 증류 모델을 수정한 버전임
다운로드:
https://t.co/KjToSKuoPe
- Qwen3.5 Abliterated
Alibaba의 Qwen3.5를 기반으로 거절 응답을 줄인 모델
0.8B: 1.0GB
2B: 1.9GB
4B: 3.3GB
9B: 6.6GB
27B: 17GB
35B: 24GB
122B: 81GB
작은 모델부터 대형 모델까지 선택할 수 있다는 게 장점
Qwen3.5는 텍스트뿐 아니라 이미지 입력도 지원하는 멀티모달 모델 계열임. 다만 Abliterated 버전의 안전 필터 완화가 이미지 처리까지 동일하게 적용된다는 의미는 아님
저사양 PC에서는 2B나 4B부터 시작해 볼 수 있고, 어느 정도 GPU 메모리가 있다면 9B나 27B도 선택할 수 있음
다운로드:
https://t.co/Ha1QYG9c1v
- Gemma 4 Abliterated
Google의 Gemma 4를 기반으로 한 검열 완화 버전
E2B: 7.2GB
E4B: 9.6GB
12B: 7.6GB
26B: 18GB
31B: 20GB
48B: 33GB
텍스트와 이미지 입력을 지원하며, 모델에 따라 추론이나 도구 호출에도 활용할 수 있음
E2B, E4B는 단순히 파일 용량이 2B나 4B 모델 수준이라는 의미가 아님. 실제 제공 파일 크기를 확인해야 함
다운로드:
https://t.co/Q9fhDvhJgx
- GPT-OSS Abliterated
OpenAI에서 공개한 GPT-OSS를 기반으로 답변 거절 성향을 줄인 버전
20B: 14GB
120B: 88GB
GPT-OSS는 추론과 도구 호출 등을 지원하는 오픈웨이트 모델 계열임
20B도 다운로드 크기가 14GB라서 메모리가 적은 PC에서는 부담이 있을 수 있음
다운로드:
https://t.co/lBXEwrIp5A
- GLM-4.7-Flash Abliterated
GLM-4.7-Flash를 기반으로 한 검열 완화 모델
양자화 방식에 따라 파일 크기가 달라짐
Q4_K_S: 17GB
Q4_K: 19GB
Q8_0: 32GB
BF16: 60GB
추론과 도구 호출에 활용할 수 있는 모델이고, PC 사양에 따라 양자화 버전을 선택하면 됨
다운로드:
https://t.co/XUjCQuIeZj
- Qwen2.5-Coder Abliterate
코딩 작업에 특화된 Qwen2.5-Coder의 검열 완화 버전
0.5B: 398MB
1.5B: 1.1GB
3B: 1.9GB
7B: 4.7GB
14B: 9.0GB
32B: 20GB
일반 대화보다는 코드 생성, 코드 분석, 수정 같은 개발 작업을 중심으로 사용할 수 있음
다운로드:
https://t.co/9CzKGMIBzs
- Dolphin-Mistral
검열을 줄인 모델로 알려진 Dolphin 계열도 있음
Mistral 기반 7B 모델이고, Ollama 기본 버전은 약 4.1GB임
위 모델들과 달리 비교적 오래된 모델이라 최신 모델과 성능을 동일하게 기대하긴 어렵지만, 로컬 무검열 모델에 관심 있다면 알아둘 만함
다운로드:
https://t.co/uq08Qm68ke
그런데 다운로드 용량이 4.7GB라고 VRAM도 4.7GB만 있으면 되는 걸까?
그건 아님
모델 파일 용량과 실제 실행에 필요한 메모리는 다름
모델을 실행할 때는 가중치 외에도 KV 캐시(대화 내용을 처리할 때 저장하는 중간 데이터), 실행 버퍼 등이 추가로 필요함
따라서 GPU VRAM이 모델 파일 크기와 정확히 같다고 해서 전부 GPU에 올려 실행할 수 있는 건 아님
대략적인 기준으로 보면
VRAM 4GB: 1.5B~3B 수준의 작은 양자화 모델부터
VRAM 8GB: 7B Q4 모델부터 시도하기 좋음
VRAM 12GB: 9B Q4, 일부 14B Q4 모델
VRAM 16GB: 14B Q4 모델을 비교적 여유 있게 시도 가능
VRAM 24GB: 27B~32B Q4 모델도 검토 가능
VRAM 48GB: 70B Q4 모델은 파일만 약 43GB라 실행 메모리까지 고려하면 상당히 빠듯함
이 수치는 정확한 최소 사양이 아니라 GPU에 모델을 주로 올려 실행한다는 가정의 대략적인 기준임
모델 구조, 양자화 종류, 컨텍스트 길이, 동시 요청 수 등에 따라 실제 VRAM 사용량은 크게 달라질 수 있음
또 VRAM이 부족하다고 무조건 실행이 불가능한 건 아님.
일부 모델 데이터를 시스템 RAM에 두고 CPU와 GPU를 함께 사용할 수도 있음
다만 GPU에 전부 올렸을 때보다 추론 속도가 상당히 느려질 수 있음
양자화는 뭘 선택해야 할까?
Hugging Face나 Ollama에서 모델을 살펴보면 Q2_K, Q4_K_M, Q5_K_M, Q8_0, FP16 같은 이름을 볼 수 있음.
양자화는 모델 가중치의 저장 정밀도를 줄여 파일 크기와 메모리 사용량을 줄이는 기술임
예를 들어 DeepSeek-R1 7B Abliterated 기준으로 보면
Q2_K: 3.0GB
Q3_K_M: 3.8GB
Q4_K_M: 4.7GB
Q5_K_M: 5.4GB
Q6_K: 6.3GB
Q8_0: 8.1GB
FP16: 15GB
같은 7B 모델이어도 양자화에 따라 용량이 몇 배까지 차이 남
일반적으로 Q2나 Q3는 메모리를 많이 절약할 수 있지만 모델 성능이 저하될 가능성이 커짐
Q4_K_M은 용량과 품질 사이의 균형을 고려할 때 많이 선택하는 방식이고, 메모리에 여유가 있다면 Q5_K_M이나 Q8_0도 고려할 수 있음
FP16은 16비트 부동소수점으로 가중치를 저장하는 형식이라 양자화 모델보다 용량이 큼
다만 양자화에 따른 정확도나 속도 변화는 모델과 하드웨어마다 다름
Q8이라고 모든 작업에서 무조건 더 빠르거나 좋은 건 아님
처음 시작한다면 Q4_K_M 정도로 실행해 본 뒤 메모리 여유와 응답 품질을 보고 바꾸면 됨
그럼 실제로 어떻게 실행할까?
방법은 크게 두 가지가 편함
방법 1. Ollama
Ollama는 로컬 AI 모델을 다운로드하고 실행할 수 있는 도구임
Windows, macOS, Linux에서 사용할 수 있음
설치:
https://t.co/xMRr702KdK
설치한 뒤 PowerShell이나 터미널을 열고 아래 명령어를 입력하면 됨
DeepSeek-R1 7B 무검열 버전:
ollama run huihui_ai/deepseek-r1-abliterated:7b
Q5 양자화 버전으로 받고 싶다면:
ollama run huihui_ai/deepseek-r1-abliterated:7b-qwen-distill-q5_K_M
DeepSeek-R1 14B:
ollama run huihui_ai/deepseek-r1-abliterated:14b
Qwen3.5 4B:
ollama run huihui_ai/qwen3.5-abliterated:4b
Qwen3.5 9B:
ollama run huihui_ai/qwen3.5-abliterated:9b
GPT-OSS 20B:
ollama run huihui_ai/gpt-oss-abliterated:20b
Qwen2.5-Coder 7B:
ollama run huihui_ai/qwen2.5-coder-abliterate:7b
Dolphin-Mistral:
ollama run dolphin-mistral
처음 실행할 때 모델 파일을 자동으로 다운로드하고, 다운로드가 완료되면 터미널에서 바로 대화할 수 있음
모델별 양자화 종류는 각 Ollama 모델 페이지의 Tags 목록에서 확인할 수 있음
방법 2. LM Studio
명령어를 입력하는 게 번거롭다면 LM Studio도 있음.
다운로드:
https://t.co/yDmCUv1PL5
설치 후 Discover 메뉴에서 원하는 모델을 검색하고 GGUF 파일을 다운로드하면 됨
GGUF는 llama.cpp 기반 실행 도구 등에서 사용하는 모델 파일 형식임
다운로드할 때 Q4_K_M이나 Q5_K_M 같은 양자화 버전을 선택하고, Chat 메뉴에서 모델을 불러와 대화하면 됨
Hugging Face에서 직접 다운로드한 GGUF도 가져올 수 있음
예를 들어 외부에서 받은 파일을 가져오려면
lms import "C:\Models\model.gguf" --copy
같은 명령어를 사용할 수 있음
다만 모든 모델이 GGUF 형식이나 LM Studio의 현재 실행 엔진과 호환되는 건 아니라서, 다운로드 전에 지원 여부는 확인해야 함
이미 만들어진 무검열 모델이 아니라 직접 수정하고 싶다면?
Heretic이라는 오픈소스 도구도 있음
기존 언어 모델의 거절 성향을 줄이거나, 과도한 맞장구·장황한 문장 같은 특성을 수정하는 데 사용하는 프로젝트임.
기존 모델을 대규모 데이터로 다시 파인튜닝하는 방식과 달리, 내부 가중치에 수학적인 변형을 적용하는 방식임
기본적으로 답변 거절률을 줄이면서 원본 모델의 동작을 최대한 유지하도록 최적화하는 기능을 제공함
Python과 PyTorch 환경을 준비한 뒤
pip install -U heretic-llm
설치하고, 예를 들어
heretic Qwen/Qwen3-4B-Instruct-2507
같은 명령어로 모델 수정 작업을 시작할 수 있음
Ollama처럼 완성된 모델을 바로 실행하는 도구가 아니라 모델 자체를 수정하는 도구라는 차이가 있음
또 별도의 처리 시간과 하드웨어 자원이 필요하고, 원본 성능이 그대로 보존된다는 보장도 없음
GitHub:
https://t.co/LJuKTAXPBL
마지막으로 무검열 모델이라고 해서 실제로 아무 제한도 없거나, 모든 요청에 반드시 답변한다는 건 아님
Abliterated는 모델이 거절하는 성향을 줄이도록 수정했다는 의미이지, 모델에 존재하는 모든 안전 관련 동작을 완전히 제거했다는 뜻은 아님
오히려 원본보다 부정확한 답변을 생성하거나 다른 능력이 저하될 수도 있음
로컬에서 실행한다고 해서 학습 데이터나 라이선스 문제가 사라지는 것도 아님. 상업적 사용이나 재배포를 생각한다면 원본 모델과 수정 모델의 라이선스를 따로 확인해야 함
그래도 공개된 가중치를 내려받아 직접 실행하고, 양자화로 메모리 사용량을 조절하거나 모델의 동작까지 수정할 수 있다는 건 로컬 AI의 장점인 것 같음
개인적으로 처음 시도한다면 DeepSeek-R1 7B Abliterated나 Qwen3.5 4B/9B Abliterated부터 살펴보면 될 듯
Ollama로 먼저 실행해 보고, 세부 양자화나 GPU·CPU 사용량을 직접 조정하고 싶다면 LM Studio나 llama.cpp 계열 도구를 살펴보는 방법도 있음