VTuber 발견 사이트에서 12,000건의 캐치프레이즈를 생성하며 로컬 LLM으로 1만 엔 이상 아낀 이야기

개인 개발로 VTuber 발견 사이트를 만들고 있습니다.

사이트의 목적은 「알려지지 않은 VTuber와 시청자를 연결하는 것」입니다.

어느 정도 데이터가 모여, 활성 VTuber가 12,000건을 넘었습니다.

하지만 여기서 문제가 발생했습니다.

12,000건이 나열되어 있어도 무엇을 봐야 할지 모르겠다

단순히 목록으로 표시하면 이런 상태가 됩니다.

• 이름
• 아이콘

이 끝없이 나열될 뿐입니다.

물론 검색하면 찾을 수 있습니다.

하지만,

무엇을 검색해야 할지 모르는

사람에게는 가혹합니다.

발견되게 하기 위한 사이트인데, 발견의 계기가 없는 상태였습니다.

「이 사람 재밌겠는데」를 만들고 싶었다

그래서 생각한 것이 VTuber별 짧은 캐치프레이즈(Catchphrase)입니다.

예를 들어,

• 심야에 느긋하게 게임을 하는 엘프
• 활기차게 외치는 FPS 계열 VTuber
• 힐링계 잡담이 중심인 판다 VTuber

와 같은 것입니다.

설명문을 읽지 않아도,

이 사람 좀 궁금한데

라고 생각할 수 있는 동선을 만들고 싶었습니다.

Gemini로 시도해 보았다

처음에는 Gemini에 던졌습니다.

채널 설명문을 전달하고,

「30자 정도로 소개문을 만들어줘」

라는 심플한 요청이었습니다.

결과는 나쁘지 않았습니다.

오히려 꽤 재미있습니다.

하지만 문제가 있습니다.

건수

12,000건.

단가

대략 1건당 1.5엔 정도.

계산하면,

12,000 × 1.5엔 = 18,000엔

이 됩니다.

개인 개발로서는 꽤 뼈아픕니다.

게다가 앞으로도 계속 늘어날 것입니다.

그럼 로컬 LLM으로 해보자

그래서 시도한 것이 로컬 LLM (llama3:8b)입니다.

환경은 상당히 평범합니다.

• GTX1060 6GB
• 메모리 32GB

최근의 AI 용도로는 결코 고성능이 아닙니다.

솔직히,

느려도 좋으니까 끝까지 돌아가 주기만 해라

정도의 기대치였습니다.

결과

무사히 끝났습니다.

밤에 실행하고 자고 일어나니 아침에 생성이 완료되어 있었습니다.

(대략 7시간)

물론 Gemini나 Claude만큼 똑똑하지는 않습니다.

가끔 미묘한 문장도 있습니다.

하지만,

이 사람 어떤 스트리머일까

라는 흥미를 끄는 용도라면 충분했습니다.

(저상주의 Vtuber가 차를 때린다....?)

의외였던 점

이번에 원했던 것은

정확한 요약이 아닙니다.

오히려,

• 왠지 모를 분위기가 전달됨
• 조금 궁금해짐
• 클릭하고 싶어짐

정도의 문장입니다.

이 용도라면 로컬 LLM으로도 충분히 실용적이었습니다.

결론

이번 배움은 심플합니다.

고성능 클라우드 AI는 편리하지만,

동일한 처리를 수천~수만 건 반복하는 경우에는 이야기가 달라집니다.

1건이라면 오차라도,

12,000건이 되면 수만 엔이 됩니다.

반면,

• 일괄 생성
• 배치 처리 (Batch Processing)
• 품질을 다소 타협할 수 있음

이라면 로컬 LLM은 상당히 강력한 선택지였습니다.

적어도 저는

12,000건분의 캐치프레이즈 생성 비용을 지불하지 않아도 되었습니다.

그리고 무엇보다,

사이트 상에 「이 사람 좀 궁금한데」를 늘릴 수 있었기에 일단 만족하고 있습니다.

덤

이번에 사용한 PC 사양은 다음과 같습니다.

• CPU: Intel(R) Core(TM) i7-8700 CPU @ 3.20GHz (3.19 GHz)
• GPU: GTX1060 6GB
• 메모리: 32GB

최신 하이엔드 GPU가 없어도,

「하룻밤 방치로 대량 생성하기」

용도라면 의외로 어떻게든 되었습니다.

로컬 LLM에 관심은 있지만,

그런 고성능 PC는 없어요

라고 생각하시는 분들께 참고가 된다면 좋겠습니다.

마치며

이번 캐치프레이즈 생성은 제가 개발하고 있는 VTuber 발견 사이트를 위해 진행했습니다.

사이트의 목적은,

알려지지 않은 VTuber와 시청자를 연결하는 것

입니다.

활성 VTuber는 12,000건 이상.

검색뿐만 아니라, 「왠지 재밌을 것 같아」에서 발견할 수 있는 사이트를 목표로 하고 있습니다.

혹시 관심이 있다면 꼭 놀러 와 주세요.

Discussion