SillyTavern은 AI 역할극(roleplay) 및 창의적 글쓰기를 위한 표준 프론트엔드(frontend)가 되었습니다. 하지만 기본 설정은 모든 대화 내용을 OpenAI로 전송합니다. OpenAI는 모든 데이터를 30일 동안 기록하며, 귀하의 데이터를 학습에 사용합니다.

프롬프트(prompt)에 어떤 일이 일어나는지 중요하게 생각한다면, 다른 백엔드(backend)가 필요합니다. 여기에서 제가 암호화폐 결제를 지원하고 계정이 필요 없는, 프라이버시에 초점을 맞춘 API를 사용하여 SillyTavern을 설정하는 방법을 소개합니다.

백엔드(Backend)가 중요한 이유

SillyTavern 자체는 단순한 프론트엔드(frontend)일 뿐입니다. 귀하의 기기에서 로컬(locally)로 실행됩니다. 하지만 클라우드 API(cloud API)에 연결하는 순간, 대화 컨텍스트(conversation context) — 즉 모든 메시지, 모든 캐릭터 카드, 모든 시스템 프롬프트(system prompt) — 가 해당 제공업체의 서버로 전송됩니다.

OpenAI는 이를 30일 동안 저장합니다. Anthropic도 유사한 보관 정책을 가지고 있습니다. Google의 Gemini는 모든 것을 기록합니다. 만약 귀하가 창의적인 소설을 쓰거나, 역할극을 하거나, 민감한 주제에 대해 논의하고 있다면, 이는 타인의 서버에 엄청난 양의 개인 데이터가 놓여 있는 것과 같습니다.

설정 방법 (5분 소요)

제가 사용 중인 API는 OpenAI 호환(OpenAI-compatible) 방식이므로, SillyTavern에서 별도의 플러그인이나 해킹 없이 즉시 지원됩니다.

1. 제공업체의 대시보드(dashboard)에서 API 키를 가져옵니다.
2. SillyTavern에서 API Connection → Chat Completion → Custom (OpenAI-compatible)으로 이동합니다.
3. 엔드포인트(endpoint) URL과 키를 입력합니다.
4. 드롭다운 메뉴에서 모델을 선택합니다.

끝입니다. SillyTavern이 이를 일반적인 OpenAI 호환 엔드포인트와 동일하게 취급하기 때문에 연결이 작동합니다.

창의적 글쓰기를 위한 모델 선택

창의적인 작업에는 모든 모델이 동일하게 효과적이지 않습니다. 테스트를 통해 알아낸 결과는 다음과 같습니다:

산문 품질(prose quality)을 위해: Claude 3.5 Sonnet이 가장 좋습니다. 뉘앙스, 서브텍스트(subtext), 캐릭터의 목소리를 그 어떤 것보다 잘 처리합니다. 메시지당 비용은 약 $0.003에서 $0.01 정도입니다.

일관성(consistency)을 위해: Llama 3 70B는 대부분의 독점 모델(proprietary models)보다 캐릭터를 더 잘 유지합니다. 또한 비용도 3~10배 더 저렴합니다.

예산을 위해: DeepSeek V3는 메시지당 1센트의 아주 적은 비용이 듭니다. 품질은 더 낮지만, 일상적인 용도로는 충분히 훌륭합니다.

속도를 위해: Gemini 2.0 Flash는 1~3초 내에 응답합니다. 품질은 더 낮지만, 빠른 대화를 주고받기에는 타의 추종을 불허합니다.

프라이버시 관점

제가 사용하는 제공업체는 로그를 남기지 않는 정책 (no-log policy)을 주장합니다. 이는 모든 것을 기록하는 OpenAI보다 낫지만, "로그 없음"은 주장일 뿐 보증은 아닙니다. 프라이버시를 계층화하기 위해 제가 하는 방법은 다음과 같습니다:

• 암호화폐로 결제 (최대 프라이버시를 위해 Monero, 속도를 위해 Nano 사용)
• API에 연결할 때 VPN 사용
• 계정에 일회용 이메일 (burner email) 사용
• 가장 민감한 대화의 경우, 대신 Ollama를 통해 로컬 모델 (local model) 실행

완벽한 단일 솔루션은 없습니다. 하지만 이러한 계층을 결합하면 누군가가 귀하의 AI 사용을 실제 신원과 연결하는 것을 훨씬 더 어렵게 만듭니다.

확장 기능(Extensions)은 어떤가요?

SillyTavern 확장 기능은 대부분 OpenAI 호환 API (OpenAI-compatible APIs)와 잘 작동합니다. 텍스트 음성 변환 (Text-to-speech), 이미지 생성 (image generation), 요약 (summarization), 벡터 저장소 (vector storage) 모두 정상적으로 작동합니다. 작동하지 않을 수도 있는 유일한 확장 기능은 특정 제공업체 전용 기능에 의존하는 것들이지만, 그런 경우는 드뭅니다.

비용의 현실

저는 SillyTavern을 매일 사용하며, 약 3050개의 메시지를 보냅니다. 저의 월간 비용은 약 35달러입니다. 월 8달러의 정액제 플랜은 선택된 모델의 무제한 사용을 제공하며, 헤비 유저라면 이것이 가장 좋은 거래입니다.

이를 GPT-4만 제공하는 OpenAI의 월 20달러 ChatGPT Plus 구독과 비교해 보세요. 멀티 모델 API (multi-model API)를 사용하면 더 적은 비용으로 400개 이상의 모델에 접근할 수 있습니다.

효과적인 프리셋 (Presets)

생성 설정 (Generation settings)은 모델 선택만큼이나 중요합니다. 제가 테스트한 시작 지점은 다음과 같습니다:

• Claude: Temperature 0.8-1.0, Top-P 0.95, max tokens 800-1200
• Llama 3: Temperature 0.7-0.9, Top-P 0.9, max tokens 600-1000, frequency penalty 0.1
• DeepSeek: Temperature 0.8-1.0, Top-P 0.95, max tokens 500-800, frequency penalty 0.15

Temperature는 가장 큰 품질 조절 레버입니다. 일관성을 위해서는 낮게, 창의성을 위해서는 높게 설정하세요.

더 자세한 설정 가이드와 일반적인 오류에 대한 문제 해결 방법은 여기에서 확인하실 수 있습니다: NanoGPT SillyTavern 설정 가이드.