ML 엔지니어가 되지 않고도 프로덕션 AI 기능을 구축하는 방법

AI 기능을 출시하기 위해 머신러닝 (Machine Learning) 박사 학위가 필요하지는 않습니다. 진심입니다. 저는 개발자들이 Claude의 API를 가져와서 프롬프트 (Prompt) 몇 개를 던져서 바로 출시할 수 있었음에도 불구하고, 솔루션을 과하게 설계(Over-engineer)하는 것을 봐왔습니다.

솔직히 말씀드리면: 가장 어려운 부분은 ML이 아닙니다. 무엇을 실제로 구축할지, 그리고 그것을 과하게 꾸미지(Gold-plating) 않는 법을 아는 것입니다.

무엇이 변했는가 (그리고 왜 당신이 관심을 가져야 하는가)

2년 전, 프로덕션에서 AI를 사용하는 것은 모델 배포 (Model deployment), 확장성 (Scaling) 문제, 그리고 기괴한 엣지 케이스 (Edge cases)를 다루는 것을 의미했습니다. 지금은요? API를 호출하면 됩니다. 모델은 다른 어딘가에 있습니다. 당신의 일은 그것을 당신의 앱에 스마트하게 연결하는 것입니다.

변화의 핵심: "ML 시스템을 구축하는 것"에서 "기존 앱에 지능을 통합하는 것"으로의 전환입니다.

실제로 작동하는 세 가지 패턴

1. 분류기 (The Classifier) (의사결정 트리 교체)

라우팅 (Routing), 카테고리화 (Categorization), 또는 우선순위 지정 (Prioritization)을 위한 복잡한 로직이 있나요? 계층적인 if-문 작성을 중단하세요.

실제 예시: 긴급도와 카테고리에 따라 지원 티켓을 분류하기.

async function classifyTicket(ticketText) {
  const response = await fetch('https://api.anthropic.com/v1/messages', {
    method: 'POST',
...

이 방식이 하드코딩된 규칙보다 나은 이유:

• 새로운 엣지 케이스가 발생했나요? 재학습 (Retrain)은 말 그대로... 다시 실행하는 것뿐입니다.
• 당신의 규칙은 당신의 상상력이 아니라 실제 세상의 무질서함에 맞춰 확장됩니다.
• 3시간 동안의 조건문 지옥 대신 20분이면 충분합니다.

2. 추출기 (The Extractor) (정규 표현식 작성 중단)

반구조화된 텍스트 (Semi-structured text)를 파싱 (Parsing)하는 것은 악몽입니다. 정규 표현식 (Regex)은 당신을 속입니다. 파싱 라이브러리 (Parsing libraries)는 과합니다.

실제 예시: 송장 PDF나 이메일 콘텐츠에서 구조화된 데이터 추출하기.

async function extractInvoiceData(invoiceText) {
  const response = await fetch('https://api.anthropic.com/v1/messages', {
    method: 'POST',
...

이 방식이 파싱 라이브러리보다 나은 이유:

• 모호하고 사람이 작성한 형식을 자연스럽게 처리합니다.
• 단순한 패턴이 아니라 "의미"를 추출합니다.
• 하나의 함수가 10가지의 서로 다른 송장 형식을 처리합니다.

3. 브레인스토머 (The Brainstormer) (사용자를 대체하지 말고 증강하라)

이 부분에서 많은 사람들이 실수를 합니다. AI에게 사용자를 대신해 결정을 내리라고 요구하지 마세요. 대신 사용자에게 선택지를 제공하거나 아이디어를 촉발하도록 요청하세요.

실제 사례: 콘텐츠 추천 또는 아이디어 생성.

async function generatePostIdeas(topic, tone) {
  const response = await fetch('https://api.anthropic.com/v1/messages', {
    method: 'POST',
...

이 방식이 효과적인 이유:

• 사용자가 최종 결정을 내립니다 (그래야만 합니다).
• 사용자가 빈 페이지 증후군 (blank page syndrome)으로 고민하는 10분을 아껴줍니다.
• 인간의 역할을 자동화하여 없애는 것이 아니라, 도움을 주는 것입니다.

주의사항 (실제적인 문제들)

비용이 조용히 상승합니다. 토큰 (token) 사용량을 기록하세요. 1k 토큰당 $0.015인 분류기 (classifier)를 하루에 1만 번 실행하면 비용이 상당해집니다.

지연 시간 (latency)은 생각보다 중요합니다. 분류기에 2초가 소요된다면, 이전의 즉각적인 반응과 비교했을 때 나쁜 사용자 경험 (UX)이 됩니다. 출력이 길어질 경우 스트리밍 (streaming)을 사용하세요.

나쁜 프롬프트 = 나쁜 출력. 프롬프트 (prompt) 작성에 15분을 투자하세요. 반복하고, 예외 케이스 (edge cases)를 테스트하세요. 당신의 프롬프트가 곧 모델 (model)입니다.

컨텍스트 (context)는 문제가 생기기 전까지는 저렴합니다. 데이터베이스 전체가 아니라 관련 있는 컨텍스트만 보내세요. 100k 토큰은 빠르게 비용을 발생시킵니다.

실무적인 설정

1. 제공업체 (provider)를 선택하세요. Claude (Anthropic), OpenAI, Cohere 모두 훌륭합니다. 문맥 전환 (context-switching)을 하기보다 하나를 선택해 깊이 있게 익히세요.

2. 하드코딩하지 말고 환경 변수 (environment variables)를 사용하세요. process.env.ANTHROPIC_API_KEY. 매번 이렇게 하세요.

3. 타임아웃 (timeouts)과 재시도 (retries). API는 다운될 수 있고, 네트워크 오류도 발생합니다. 다음과 같이 우아하게 처리하세요:

async function callAIWithRetry(prompt, maxRetries = 3) {
  for (let i = 0; i < maxRetries; i++) {
    try {
...

1. 출력을 테스트하세요. 사람이 샘플 결과를 검토하게 하세요. 나쁜 데이터는 프로덕션 (production) 환경에 도달할 때까지 숨어 있을 것입니다.

실제로 배워야 할 것들

• 프롬프트 엔지니어링 (prompt engineering) (현재 가장 중요한 기술)
• 토큰 계산 (token counting) (예상치 못한 비용 발생 방지)
• API가 이해할 수 있도록 문제를 구성하는 방법
• 에러 핸들링 (error handling) (API는 불안정할 수 있습니다)

트랜스포머 (transformers), 역전파 (backpropagation), 또는 선형 대수학 (linear algebra)을 배울 필요는 없습니다.

다음 단계

당신의 앱에서 지능화가 필요한 작은 기능 하나를 골라보세요:

• 무언가를 분류하기 (Classifying something)
• 텍스트에서 데이터 추출하기 (Extracting data from text)
• 콘텐츠의 변형 생성하기 (Generating variations of content)

단 하루 만에 구축하세요. 월요일에 배포하세요. 그것이 실제로 도움이 되는지 측정하세요.

완벽한 환경을 기다리지 마세요. 진입 장벽은 당신이 생각하는 것보다 낮습니다.