c.ai가 처음 환각(hallucination) 모델로 등장한 지 4년이 되었지만, 여전히 LLM의 자발성/흥미로운 환각 기능 면에서는 충분히 발전하지 못했습니다. 다행스럽게도 작년에 새로운 아키텍처가 등장하여 Kobold나 LLAMA를 통해 1016GB VRAM 범위 내에서도 최대 64k Context Window까지 사용할 수 있는 유용한 모델들을 구동할 수 있게 되었습니다.
요구 사항: 1016GB VRAM - 26~32GB RAM. 평가 기준:
속도(Speed): 토큰당 초당 속도가 최소 10t/s여야 함.
일관성(Coherency): 기본적인 논리(로봇 같은 느낌)나 행동주의를 제외하고 대화/독백/POV가 내부적으로 의미가 있어야 함. JP/PT-BR/US-EN: 오타, 뉘앙스 또는 거친 표현을 처리하거나 해석할 수 있어야 함.
묘사 패턴(Slop Patterns): '긴 그림자를 드리우다'부터 '오존과 탄 설탕 냄새가 난다'까지의 빈도.
MOE vs FULL: FULL 모델 대신 MOE를 선택하는 것이 더 나은지 여부.
검열(Censorship): 이 모든 모델들은 NSFL 주제에 대해서도 거부율이 없거나 너무 낮아 걱정할 필요는 없습니다.
지시/엔지니어링(Instruction/Engineering): Pandora Instructions가 있는 경우와 없는 경우 모두 테스트했습니다. 만약 어떤 모델이 23개의 복잡하게 얽힌 규칙을 처리할 수 있다면, 무엇이든 처리하거나 아예 프롬프트가 필요하지 않을 것입니다.
참고 사항: 저는 모든 CoT(Chain-of-Thought) 모델은 토큰 낭비이며 느리고 필요하지 않다고 간주하여 무시했습니다. 예쁘게 프롬프트를 작성하면 같다는 것이 있습니다. 그냥 Q_4_K보다 높은 양자화(quant)를 가진 어떤 크기든 선택하세요. 크기는 중요하지 않습니다 ( ͡° ͜ʖ ͡°).
문제점: 저는 70B, 120B, 300B 모델을 대상으로 애니메이션/만화/영화/음악에 대한 작은 지식 테스트를 수행했으며, 실제로 이 정도의 데이터를 가진 것은 200B 이상의 모델뿐이며, 심지어 120B도 관심 있는 미디어에 대한 정보는 거의 없을 것이라는 것을 발견했습니다. 하지만 누가 그것을 구동할 수 있을까요?
목록 (최고에서 최악 순서/이유):
Gemma 4 26B-A4B: Qwen 35B-A3B보다 대화/독백, 지시 사항 처리, 약간 더 스마트하고 정확하며 재미있습니다.
Qwen 3.6 35B-A3B (파괴됨): 빠르고 정확하며 적당히 재미있지만, 적절한 지시 사항 없이 이전 입력/출력 형식/패턴에 과적합되거나, 의미 없는 말을 하거나 너무 많은 질문을 할 수 있습니다.
Gemma 4 Instruct 19B-A1B Heretic (Abliterated): 26B-A4B보다 약간 더 경직되고 평범하지만, 정확도와 논리를 유지합니다. The Omega Directive 14B: 지침을 따르고 슬롭 패턴 발생률이 낮으며 글쓰기가 좋지만, 어느 정도 문맥이 채워지면 예측 가능해질 수 있습니다. GLM-4.7-Flash 31B-A3B (Abliterated): Qwen 35B-A3B와 유사하게 작동하지만 더 간단하고 미묘한 뉘앙스/문구 해석이 적습니다. Qwen3 30B A1.5B 64K High Speed NEO MAX: 기본적으로 추론 능력이 향상된 35-A3B입니다. MN CaptainErisNebula Chimera Heretic Uncensored 12B (Abliterated): 이상하고, 모든 것을 한 번에 채우려고 애쓰느라 약간 서두르는 느낌이 들고, 패턴으로 가득하지만, 가장 능동적이며 루프에 빠지지 않는다는 장점이 있습니다. 좋은 대화/독백을 가지고 있지만 Q&A 역할에는 적합하지 않습니다. Mistral Nemo Instruct 2407 HERETIC HI Claude Opus 12B: 괜찮은 편이며, 슬롭이 제대로 재구성된 것 같지만, 인물 연기 시점(POV)에 과적합되거나 주로 당신을 매료시키려 할 수 있어 Q&A 역할에는 적합하지 않습니다. Gemma 3 12b GLM-4.7 Flash INSTRUCT Hybrid Heretic (Uncensored): 흥미롭게도 인물 연기가 가능하고 정확하지만, 빈번한 슬롭 패턴이나 유머 부족/지나치게 격식 있는 태도로 인해 이전 입력의 형식/스타일에 과적합될 수 있습니다. Ministral Instruct 2512 Absolute Heresy 14B: Mistral은 복잡한 규칙(정규 표현식(regex), 상태 패널, 명령어, 로어북 등)을 따르는 데 서툴거나, 대화/독백/자발성 면에서 최고임에도 불구하고 아이러니하게도 {{char}}를 매료시키는 사람으로 변모시킵니다. GLM 4.6V Flash Hybrid ?B: UD이지만 슬롭 빈도가 감소했고 거절(refusals)도 더 적습니다. GLM 4.6V Flash UD 9B: 너무 많은 질문을 하는 경우 {{char}}의 성격에 따라 로봇 같거나 반복적으로 느껴질 수 있지만, 모든 PI 23 규칙 + 정규 표현식 명령어를 따르는 정확도는 높습니다. Gemma 4 E4B UD: 절박한 사람에게는 작고 빠르고 정확하며 똑똑하지만, 아마도 자기 자신을 반복하거나 슬롭 패턴을 가질 것입니다. LFM2 12B A1B SpeedDemon The Deckard II HERETIC (Uncensored): 매우 빠르고, 높은 정확도와 지능을 가지고 있지만, 매력이 부족합니다.
전반적인 평가: GLM은 비관적이고 너무 논리적인 경향이 있으며, Qwen은 지나치게 호기심 많고 화려한 경향이 있고, Gemma는 재미있고 창의적인 경향이 있으며, Mistral은 추파를 던지고 이상하게 구체적인 경향이 있고, Llama는 허술하고 예측 가능한 경향이 있습니다. 이는 Omega, Heretic, Deckard, Dark, Horror, RP, Style 등 모든 파인튜닝(finetunes)에서 나타납니다. 설정: Kobold에서는 이 모델들을 로드할 수 없으므로, QWEN 35B (20.6GB)와 GLM 31B (17.7GB)를 위해 LLAMA를 사용하세요. 다른 모든 모델은 Kobold 내에서 FlashAttention/FastFowarding/SWA/SmartCache + MMPROJ + TTS가 있는 경우 가장 빠른 속도로 구동됩니다. 제가 알고 있지만 시도 후 폐기한 모델들(너무 느하거나, 성능이 떨어지거나, 더 좋은 대안이 있는 경우): Mistral 24B, GPT 20B OSS, Kimi K2, Phi-4, Skyfall, DeepSeek, Cydonia, Magistry, Magnus Cydons 등. 테스트하지 않은 모델: Goetia 26B-A4B v1.7, Gemma 4 26B-A4B StyleTune V2, Promethean Dawn 26B-A4B 및 Fenrir-X 26B-A4B. 만약 제가 24GB VRAM(예: RTX 3090)을 가지고 있다면? 더 낮은 사양으로 시도할 경우 Omega Darker Gaslight The Final Forgotten Fever Dream 24B, Qwen3 24B-A4B Freedom HQ Thinking Heretic NeoMAX-D_AU, Cydonia 24B, Magistry 24B, Magnus Cydons 24B, Erebus 12B Instruct 2608, Mistral RP 24B, DeepSeek 33B, Velvet Eclipse 2x12B 또는 Velvet Eclipse 4x12B를 시도할 수 있습니다. END /u/WEREWOLF_BX13 제출 [링크] [댓글]