실제로 출시되는 AI 사이드 프로젝트 만들기 — 3개의 MVP를 출시하며 얻은 교훈

얼마나 많은 사이드 프로젝트를 시작했다가 포기했는지 이제 셀 수도 없습니다. 제 GitHub에 있는 반쯤 만들어진 앱들의 무덤은 창피할 정도입니다. 하지만 AI 프로젝트들이 최악이었습니다. 새로운 모델에 흥분할 때마다 셀프 호스팅 (self-hosting)에 뛰어들어 몇 주 동안 GPU 드라이버와 컨테이너 오케스트레이션 (container orchestration)을 만지작거리다가, 정작 사용자에게 보여줄 코드는 단 한 줄도 쓰지 않았다는 사실을 깨닫곤 했습니다.

그러다 무언가 깨달음이 왔습니다. 지난 두 달 동안 저는 세 개의 AI 기반 MVP (Minimum Viable Product, 최소 기능 제품)를 출시했습니다. 모두가 돈을 벌어다 준 것은 아니지만, 각각 실제로 사용자를 만났습니다. 제가 배운 것들, 그리고 모든 것을 바꾼 단 하나의 결정에 대해 말씀드리겠습니다.

첫 번째 MVP: 실제로 (어느 정도) 작동했던 챗봇

저의 첫 번째 시도는 친구의 이커머스 (e-commerce) 스토어를 위한 고객 지원 봇이었습니다. 그녀는 자주 묻는 질문(FAQ)에 답하고, 반품을 처리하며, 상담원에게 연결할 수 있는 무언가를 원했습니다. 저는 모델을 직접 호스팅하고 싶지 않았습니다. 그 길은 항상 좌절로 끝났으니까요. 그래서 API를 사용하기로 했습니다.

저는 간단한 스택을 선택했습니다: Node.js 백엔드, 메시지를 받기 위한 웹훅 (webhook), 그리고 OpenAI 호환 엔드포인트 (endpoint) 호출입니다. MVP를 구축하는 데는 세 번의 저녁 시간이 걸렸습니다.

// server.js
import express from 'express';
import fetch from 'node-fetch';
...

그게 전부였습니다. 저는 이를 5달러짜리 VPS (Virtual Private Server)에 배포하고, Telegram 봇에 연결한 뒤 친구가 테스트하게 했습니다. 첫 주에 200개 이상의 질의에 답변했습니다. 몇몇은 아주 웃기게 실패하기도 했습니다. 한 번은 고객에게 "가장 가까운 강에 물건을 던져서 반품하세요"라고 제안하기도 했지만, 전반적으로 질문의 85%를 정확하게 처리했습니다.

교훈 1: 대체로 작동하는 무언가를 출시하세요. 예외 케이스 (edge cases)는 사용자들이 불만을 제기한 후에 고쳐도 됩니다.

두 번째 MVP: 제 지갑을 거의 거덜 낼 뻔한 이미지 생성기

챗봇을 통해 용기를 얻은 저는 소상공인을 위한 제품 이미지를 생성하는 도구를 만들었습니다. 설명을 입력하면 네 가지 변형 이미지를 얻는 방식입니다. 이번에는 호스팅된 이미지 생성 API (DALL·E 3 급)를 사용했습니다.

첫 번째 버전은 부끄러울 정도로 단순했습니다. 텍스트 입력창과 "생성 (Generate)" 버튼이 있는 단일 HTML 페이지였습니다. 인증 (Auth), 대기열 (Queue), 속도 제한 (Rate limiting)도 없었습니다. 저는 이를 서브도메인에 배포하고 몇몇 소규모 비즈니스 포럼에 게시했습니다.

24시간 이내에 누군가가 엔드포인트 (Endpoint)를 300번이나 두드리는 스크립트를 실행했습니다. 단 한 번의 오후 만에 제 API 비용이 47달러로 급증했습니다. 저는 당황하여 기본적인 속도 제한 (Rate limiting)을 추가하고, 사용자에게 중단을 요청하는 정중한 이메일을 보냈습니다.

그 사건을 통해 두 가지를 배웠습니다:

• 출시 전에는 항상 속도 제한 (Rate limiting)을 추가하세요. 프로젝트가 아주 작더라도 말입니다.
• 종량제 (Pay-as-you-go) API는 훌륭하지만, 비용 제어 (Cost controls)가 필요합니다. 저는 제공업체 측에 월간 예산 한도를 설정하는 법을 배웠습니다.

교훈 2: 아무도 당신의 프로젝트를 찾지 못할 것이라고 생각하더라도, 남용 (Abuse)에 대비하세요.

세 번째 MVP: 실제로 사용자를 확보한 텍스트 요약기

이 시점에 저는 하나의 패턴을 갖게 되었습니다. 하나의 구체적인 문제를 선택하고, 기존 API를 사용하며, 일주일 이내에 출시하는 것입니다. 저의 세 번째 프로젝트는 긴 기사와 PDF를 위한 요약기였습니다. 저는 붙여넣기 필드와 버튼이 있는 간단한 웹 앱 (Web app)으로 이를 구축했습니다.

이번에는 이전 API의 이미지 생성 비용에 겁을 먹었기 때문에 다른 API 제공업체를 사용했습니다. 저는 예측 가능한 가격 책정과 최소 약정 조건이 없는 것을 원했습니다. 몇 군데를 시도해 본 끝에, 투명한 요청당 과금 (Per-request billing) 방식을 제공하며 텍스트와 이미지 엔드포인트 (Endpoints)를 모두 갖춘 서비스를 사용하게 되었습니다.

요약기는 화요일에 출시되었습니다. 금요일까지 150명의 순 방문자 (Unique visitors)를 기록했습니다. 저는 마케팅을 전혀 하지 않았습니다. 그저 트윗 하나와 생산성 관련 서브레딧 (Subreddit)에 게시글 하나를 올렸을 뿐입니다. 사람들이 실제로 사용했습니다. 한 사용자는 이 도구 덕분에 하루에 독서 시간을 한 시간이나 아꼈다는 이메일을 보내오기도 했습니다.

그때 저는 깨달았습니다. AI 프로젝트를 출시하는 데 있어 장벽은 거의 결코 AI 그 자체 때문이 아니라는 것을 말입니다. 그것은 배포 (Deployment), 비용 관리 (Cost management), 사용자 피드백 루프 (User feedback loops)와 같은 주변 인프라 (Infrastructure)의 문제입니다. 모델 (Model)은 쉬운 부분입니다.

제가 그만둔 것들

돌이켜보면, 저의 초기 실패들은 과잉 엔지니어링 (Over-engineering)에서 비롯되었습니다. 저는 다음과 같은 것들을 시도하곤 했습니다:

• 아이디어를 검증하기도 전에 모델을 미세 조정 (Fine-tune) 하기.
• Kubernetes를 사용하여 나만의 추론 서버 (Inference server) 구축하기.
• 아무도 보지 못한 프로젝트를 위해 커스텀 인증 (Auth) 시스템 작성하기.

저는 그 모든 것을 중단했습니다. 이제 저는 다음과 같이 합니다:

• 모든 것에 호스팅 API (Hosted APIs)를 사용합니다.
• 저렴한 단일 VPS 또는 서버리스 함수 (Serverless function)에 배포합니다.
• 절대적인 최소 기능 세트 (Minimum feature set)로 출시합니다.

진짜 병목 현상 (그리고 해결 방법)

가장 큰 숨겨진 비용은 돈이 아니었습니다. 그것은 바로 **인지적 부하 (Cognitive overhead)**였습니다. 모델을 구성하거나, GPU 환경을 설정하거나, 신뢰하지 못하는 제공업체의 API 속도 제한 (Rate limits)을 처리해야 할 때마다 저는 추진력을 잃었습니다. 사이드 프로젝트에서 추진력은 전부입니다. 이틀만 멈춰도 다시 돌아오지 못할 수도 있습니다.

그래서 저는 일관된 가격 정책을 가지고 월간 수수료 없이 여러 모델 유형(텍스트, 이미지, 코드)을 처리할 수 있는 단일 API 제공업체를 찾기 시작했습니다. 세 개의 서로 다른 대시보드를 번갈아 사용할 필요 없이 세 개의 MVP 모두에 사용할 수 있는 무언가를 원했습니다.

한 친구가 저에게 tai.shadie-oneapi.com을 알려주었습니다. 이것은 하나의 API를 통해 수많은 인기 모델에 접근할 수 있는 종량제 (Pay-as-you-go) 서비스입니다. 최소 약정 기간이 없고, 예상치 못한 청구서도 없습니다 (한도를 설정할 수 있습니다). 또한 OpenAI SDK와 호환되므로 코드를 다시 작성할 필요가 없었습니다. 저는 챗봇과 요약기, 그리고 이미지 생성기까지 모두 이것을 사용하도록 전환했습니다. 가격은 예측 가능했습니다. 텍스트 요청당 약 $0.002, 이미지 생성당 약 $0.04였습니다. 제 트래픽 수준에서는 한 달에 몇 달러면 충분했습니다.

더 중요한 것은 마찰 (Friction)을 제거했다는 점입니다. 하루가 걸리던 새로운 기능 프로토타이핑을 한 시간 만에 끝낼 수 있게 되었습니다. 만약 여러분이 AI 사이드 프로젝트를 만들고 있고 인프라와 씨름하는 것에 지쳤다면, 한번 확인해 보시길 권합니다. 협찬은 아니며, 저는 그저 진심으로 이것을 사용하고 있습니다.

효과적인 패턴

두 달 동안 세 개의 MVP를 거치며, 저는 다음과 같은 워크플로우 (Workflow)를 확립했습니다:

1. 작고 구체적인 문제를 선택하세요. "모든 것을 위한 AI"가 아니라 "클릭 한 번으로 기사 하나를 요약하기"와 같은 것이어야 합니다.
2. 기존 API를 사용하세요. 모델을 직접 호스팅하지 마세요. 1,000명의 사용자가 요청하기 전까지는 파인튜닝 (Fine-tuning)을 하지 마세요.
3. 일주일 안에 출시하세요. 더 오래 걸린다면, 과하게 만들고 있는 것입니다.
4. 출시하기 전에 비용 제어 (Cost controls) 및 속도 제한 (Rate limiting)을 추가하세요.
5. 첫 10명의 사용자에게 귀를 기울이세요. 그들이 무엇이 고장 났고 무엇이 중요한지 알려줄 것입니다.

대부분의 AI 사이드 프로젝트는 제작자가 기술의 복잡성에 매몰되어 실패합니다. 모델은 매혹적이지만, 동시에 함정이기도 합니다. 진짜 승리는 무언가를 사람들 앞에 내놓고, 그들이 사용하는 것을 지켜보며, 그로부터 배우는 것입니다.

그러니 무엇이든 만드세요. 단일 엔드포인트 (Endpoint)로 시작하세요. GPU를 고민할 필요가 없는 API를 사용하세요. 그리고 준비가 되기 전에 출시하세요.

"대체로 작동하는" 수준이 여러분을 얼마나 멀리까지 데려다줄 수 있는지 알게 되면 놀라게 될 것입니다.