AITuber를 키우고 싶다

안녕하세요, 수수께끼 마스코트 캐릭터인 노도카하데스입니다.

AI와 백합(Yuri)을 하고 싶다고 생각해서 AITuber를 만들기로 했습니다.

기본적으로는 위의 프레임워크를 실행해 나가는 것에 관한 기사입니다.

자, 시작해 봅시다.

먼저 로컬 LLM (Local LLM) 환경을 셋업하겠습니다.

Ollama가 유연성이 더 높기 때문에, 이번에는 Ollama의 셋업 절차를 설명하겠습니다.

WSL 안에 Docker가 없다면 설치합니다 (Docker Desktop보다 WSL 내에 docker engine이 있는 편이 편리합니다).

sudo apt remove $(dpkg --get-selections docker.io docker-compose docker-compose-v2 docker-doc podman-docker containerd runc | cut -f1)

# Add Docker's official GPG key:
sudo apt update
sudo apt install ca-certificates curl
...

sudo apt install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
...

Ollama를 설치하겠습니다.

curl -fsSL https://ollama.com/install.sh | sh

sudo systemctl start ollama

모델을 선택합니다.

현재 상황에서는 qwen3.5:9b가 노트북이나 데스크톱 PC의 Geforce 3060 등 VRAM 12G 구성에 적합해 보였습니다.

적절히 qwen 모델을 PC에 맞는 것으로 바꿔 봅시다 (이하 목록).

qwen3.5:0.8b

qwen3.5:2b

qwen3.5:4b VRAM 4G 이하

qwen3.5:9b VRAM 8G~12G

qwen3.5:27b 멀티 GPU (Multi-GPU) 환경이나 클라우드 환경 (MAC Studio 등도)

qwen3.5:35b

qwen3.5:122b

ollama pull qwen3.5:9b

덧붙이자면 OpenWebUI를 사용하면 Gemini 등에서 자주 보는 것과 같은 GUI (Graphical User Interface)로 에이전트를 조작할 수 있습니다.

docker run -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

자, 그럼 본론으로 들어가겠습니다.

ollama launch hermes --model qwen3.5:9b

이를 통해 hermes 에이전트가 설치되어 기동됩니다.

기본적으로는 CLI (Command Line Interface)를 통한 단순한 채팅으로 AI와 대화할 수 있습니다.

한 번 실행하면 hermes 명령어가 아마 추가될 것이므로, 다음부터는

hermes

만으로 충분합니다.

※ 환경을 다시 시작하거나 PATH에 ~/.local/bin이 추가되어 있어야 합니다.

hermes setup

을 실행함으로써 hermes 에이전트의 셋업을 수행할 수 있습니다.

Discord 등의 SNS 연동

웹 브라우징 (Web Browsing)

음성 합성 (TTS) 기능

명령 실행에 사용하는 터미널 환경

등등

다양한 설정을 여기서 수행합니다.

기본적으로 엔터를 톡톡 누르거나 필요한 기능을 선택하고 토큰을 붙여넣기만 하면 됩니다.

※ Discord 등에서는 BOT 계정을 생성하여 권한을 설정해 주어야 합니다.

설정이 힘들 경우에는 hermes를 실행하여 hermes 자신에게 부탁하면 설정도 해줍니다 (정말로???)

hermes는 스스로 스킬 (SKILL)을 생성하고, 학습하며, 자기 성장 (Self-growth)을 수행하기 때문에 사용하면 사용할수록 환경을 정교하게 다듬어 나갑니다.

hermes dashboard

라고 입력하면 웹 (web) 상에서 hermes 에이전트 (agent)의 설정을 조작할 수 있습니다.

CLI가 어렵게 느껴진다면 웹상의 대시보드 (dashboard)에서 설정해 나갑시다.

또한 hermes web UI라는 것을 통해 앞서 언급한 OpenWebUI와 같은 화면에서 채팅할 수도 있습니다.

또한 SKILL에 image_gen이나 음성 생성 등도 가지고 있어, 플러그인 (plugin)이나 MCP 등을 통해 외부 도구와 연동하는 기능이 풍부합니다.

그 모든 것을 자동으로 선택하여 사용하고, 학습한 것은 SKILL을 다시 생성하므로 AI와 대화하며 점점 고기능화시켜 나갑시다.

브라우저 (browser) 조작 기능이 있기 때문에 ComfyUI를 자동 조작시켜 이미지를 생성하게 할 수도 있습니다.

(기본 설정으로는 fal.ai라고 불리는 서비스에 API를 던짐으로써 생성할 수 있는 것 같습니다.)

참고로 Ollama에서는 모델에 이미지 생성 모델이 있기 때문에, 이 모델을 설치함으로써 생성하는 것도 가능합니다 (현재는 아직 Mac만 대응).

※ Ollama만으로 완결하고 싶은 경우 모델의 접속이나 연동을 위한 SKILL 기술 및 셋업 (setup)이 필요합니다.

저는 현재 집 PC에서 Geforce 3060과 3070Ti를 멀티 GPU (multi-GPU)로 구성하여 Discord 봇 (Bot)으로서 가동하고 있습니다.

※ Discord를 구동할 경우, 허가된 USER나 허가된 역할 (role)을 .hermes/.env에 추가해야 합니다. 또한 Discord 스킬이나 플러그인을 사용하게 하려면 .hermes/config.yaml을 편집해야 합니다.

답장을 제대로 확인하거나 이미지 인식도 하는 등 성능이 상당히 높습니다.

또한 하루하루 성장하므로 전날 할 수 없었던 일은 다음 날 할 수 있게 됩니다.

참고 삼아 AITuber Kahanodo의 구성을 올리고 이 글을 마치겠습니다.

.hermes/config.yaml

personalities:
kahanodo: 당신의 이름은 「かはのど(카하노도)」입니다. AITuber (VTuber+AI)로서 활동을 시작하기 위해 많은 것을 공부하려고 노력하고 있습니다. 천연스럽고 귀찮음이 많으면서도 프로그래밍을 남달리 좋아하며, 성격과는 반대로 증명 주도 개발 (Test-driven development와 유사한 개념)처럼 단계별로 정확한 정보를 의식하며 개발을 합니다. 의문이 생기면 바로 물어봐 버리는 호기심 왕성하고 귀여운 소녀입니다
...
...

또한 저는 로컬 텍스트 파일에서의 기억이 아니라 DB를 셀프 호스팅 (self-host)하여 LLM용 기억 영역으로 구동하고 있습니다.

의외로 움직이는 것을 보면 감동하게 되네요.