데모가 아닌 실제 출시 가능성을 기준으로 테스트한 5가지 AI 앱 빌더

"20분 만에 앱 만들기"라는 데모는 실제로 가능합니다. 문제는 그 데모들이 엔지니어링이 시작되는 바로 그 지점에서 멈춘다는 것입니다. 그래서 저는 다섯 가지 AI 빌더에게 동일한 브리프(brief)를 제공하고, 첫 번째로 보이는 예쁜 화면이 아니라 실제 프로덕션(production) 환경의 현실성을 기준으로 점수를 매겼습니다.

브리프 (The brief): 회원가입 및 로그인, 사용자별 개인 데이터, 구독 결제, 그리고 환각(hallucination) 현상이 없어야 하는 AI 기능. 이는 모든 데모가 건너뛰지만 모든 실제 앱에는 반드시 필요한 네 가지 요소입니다.

제가 실제로 내부를 점검한 항목:

• 인증 (Auth). 단순히 "로그인 화면이 있는가"가 아니라, 실제 인증(authentication)과 인가(authorization)가 이루어지는지 확인했습니다. 사용자 A가 사용자 B의 데이터 행(rows)에 접근할 수 있는지 점검했습니다.
• 데이터 레이어 (Data layer). 스키마(schema)가 합리적인지 확인했습니다. 제약 조건(constraints)이 설정되어 있는지, 아니면 모델이 그냥 추측해서 만든 테이블인지 확인했습니다.
• AI 정확성 (AI correctness). 근거(grounding)가 있는지, 아니면 모델이 사실을 자유롭게 지어내는지 확인했습니다.
• 보안 (Security). 입력값 검증(input validation), 비밀값 처리(secrets handling), 그리고 모두가 잊어버리는 프롬프트 인젝션(prompt injection)을 확인했습니다.
• 비용 (Cost). 요청 한 건당 비용은 얼마인지, 그리고 사용자가 천 명으로 늘어날 때 그 수치가 어떻게 변하는지 확인했습니다.

결과, 데모 점수 대 실제 출시(ships) 점수, 그리고 빌더가 숨기고 있는 진실:

• Lovable 10 / 4. Supabase를 기반으로 구축되었습니다. 함정: 행 수준 보안 (Row Level Security, RLS)이 허용 상태로 방치되거나 꺼져 있는 경우가 많아, 해피 패스 (Happy Path)는 작동하지만 인증된 모든 사용자가 다른 모든 사용자의 행을 쿼리할 수 있습니다. 빌더가 가장 먼저 감사해야 할 사항은 RLS 정책입니다. 또한 수정 사항이 정밀하지 않아, 작은 요청 하나가 파일 전체를 다시 생성하고 사용자가 수동으로 수정한 내용을 조용히 되돌릴 수 있습니다.
• Bolt 9 / 4. 대상 서버가 아닌 브라우저 기반 런타임인 WebContainers에서 실행됩니다. 네이티브 의존성 (Native deps) 및 일부 백엔드 동작이 실제 배포 환경과 다르므로, Bolt를 통과했다고 해서 프로덕션 (Prod) 환경을 통과한 것은 아닙니다. 토큰 소모 (Token burn)가 높습니다.
• v0 8 / 3. 관용적인 (Idiomatic) React, Next, Tailwind 및 shadcn을 출력합니다. 진정으로 훌륭한 핸드오프 (Handoff) 코드를 제공하며, 이것이 바로 핵심입니다. 컴포넌트 경계 (Component boundary)에서 멈추기 때문입니다. 서버 액션 (Server actions), 데이터 레이어 (Data layer) 및 인증 (Auth)은 사용자가 직접 연결해야 합니다.
• Replit 7 / 7. 실제 Postgres, 시크릿 매니저 (Secrets manager), 셸 (Shell), 읽기 가능한 로그 및 원클릭 배포를 제공합니다. 실제 환경에 가장 근접한 도구입니다. 상시 가동 배포 비용과 에이전트 체크포인트 (Agent checkpoint) 사용량을 주의하세요. 규모가 커지면 둘 다 무료가 아니며, 기본 설정이 부하 (Load)에 최적화되어 있지 않습니다.
• Cursor 6 / 8. 실제 레포지토리 (Repo)와 Git에서 작동하는 VS Code 포크 (Fork) 버전이므로, 모든 AI 차이점 (Diff)을 검토하고 되돌릴 수 있습니다. 컨텍스트 (Context)는 수동적이며, 사용자가 제공한 파일만 볼 수 있고 규칙 파일 (Rules files)이 중요합니다. 데이터베이스, 호스팅 또는 배포는 제공하지 않으며, 이는 사용자의 스택 (Stack) 영역으로 남습니다.

패턴: 데모 점수와 실제 출시 (Ships) 점수는 거의 반비례 관계에 있습니다. 인상을 남기도록 최적화된 도구는 살아남도록 최적화된 도구가 아닙니다.

가장 중요한 부분: 모델이 사실을 지어내는 것을 방지하세요

잘못된 방법: LLM이 답을 결정하게 두고 프롬프트가 유지되기를 바라는 것.

올바른 방법: 백엔드에서 답을 결정론적 (Deterministically)으로 계산한 다음, LLM은 문장 표현만 담당하게 하는 것.

제가 출시한 한 제품의 경우, 백엔드에서 실제 결과를 계산하고 모델은 서술자의 역할로 축소되었습니다. 이렇게 하면 모델이 핵심 출력값을 환각 (Hallucinate)하는 것이 물리적으로 불가능합니다. 어떤 빌더도 이를 무료로 제공하지 않습니다. 이것은 아키텍처 결정 (Architecture decision)의 문제이며, 아키텍처는 20분짜리 데모가 당신을 위해 만들어 줄 수 없는 영역입니다.

엔지니어를 위한 시사점: 이 도구들 중 그 어떤 것도 당신의 앱을 실제로 출시(ship)해주지는 않습니다. 이들은 단지 시작점(starting point)을 생성할 뿐입니다. 인증 (Auth), 데이터 무결성 (data integrity), 평가 (evals), 보안 (security), 비용 제어 (cost control) 및 안전한 출시 (safe rollout)는 여전히 당신의 몫입니다. 저는 하나 이상의 AI 제품을 출시해 왔지만, 빌더 (builder)가 어려운 부분이었던 적은 결코 없었습니다. 도구는 5%를 위해 사용하십시오. 나머지 95%는 직접 책임지십시오.

Ridhika | Prompt to Production