제품 팀에서 기능에 'AI'를 요청할 때, 개발자가 직면하는 첫 번째 결정은 생성형 AI(generative AI)와 예측형 AI(predictive AI) 중 어떤 것을 선택하느냐입니다. 이 두 가지 모델군은 서로 다른 문제를 해결하며, 잘못된 것을 선택하면 나중에 기능을 재구축해야 하며, 이는 보통 처음부터 올바르게 구현할 때보다 더 높은 비용이 발생합니다. 예측형 모델은 이미 가지고 있는 데이터에 대한 질문(예: 거래가 사기인지 여부 또는 다음 주 판매될 단위 수)에 답을 합니다. 반면, 생성형 모델은 프롬프트(prompt)를 기반으로 초안, 이미지, 코드 블록 등 새로운 것을 만들어냅니다. 둘 다 머신러닝(machine learning)을 기반으로 하지만, 입력받는 것, 돌려주는 것, 그리고 주변 시스템으로부터 요구하는 것이 다릅니다. 이 가이드는 빌더의 관점에서 이러한 차이점들을 설명하며, 따라서 모델 선택은 그 반대가 아니라 기능의 요구사항을 따르도록 합니다.
예측형 모델은 입력(input)에서 알려진 종류의 출력(output)으로의 매핑(mapping)을 학습하는 반면, 생성형 모델은 데이터셋의 패턴을 학습하여 그로부터 새로운 샘플을 생성할 수 있습니다. 이 단 하나의 차이가 뒤따르는 거의 모든 엔지니어링 결정에 영향을 미칩니다. 예측형 모델은 사용자 연령, 구매 기록 또는 센서 판독값과 같은 구조화된 특징(structured features)을 받아 레이블(label), 점수(score), 또는 숫자를 반환합니다. 생성형 모델은 텍스트, 이미지 또는 이 둘의 혼합일 수 있는 프롬프트를 입력받아, 학습했던 데이터와 유사한 새로운 콘텐츠를 반환합니다.
아키텍처는 이러한 분할을 반영합니다. 예측형 작업은 일반적으로 로지스틱 회귀(logistic regression), 결정 트리(decision trees), 그래디언트 부스팅 트리(gradient boosted trees), 그리고 더 작은 신경망(neural networks)을 사용하며, 이들은 모두 예측값과 알려진 정답 사이의 오차를 최소화하도록 훈련됩니다. 반면 생성형 작업은 일반적으로 트랜스포머 기반 모델(transformer based models), 확산 모델(diffusion models) 및 기타 아키텍처를 사용하며, 이는 훈련 데이터 자체의 분포를 모델링하도록 훈련되어 모델이 그로부터 새로운 콘텐츠를 샘플링할 수 있게 합니다. 실제로는 이것이 예측형 모델은 보통 좁고 집중된 작업을 가진 작고 전문화된 구성 요소인 반면, 생성형 모델은 프롬프트나 미세 조정(fine tuning)을 통해 여러 작업으로 유도될 수 있는 크고 범용적인 구성 요소라는 것을 의미합니다.
개발자에게 있어 실질적인 결과는 '범위(scope)' 문제입니다. 예측형 모델은 한 가지 일만 하며, 그 동작은 명확한 합격/불합격 기준을 가진 레이블링된 예시를 통해 테스트할 수 있습니다. 반면 생성형 모델은 많은 일을 수행하며, 동일한 프롬프트가 다른 실행에서 다른 출력을 생성하고 비교할 단일한 정답이 없기 때문에 그 동작을 특정하기 어렵습니다. 만약 기능에 '예/아니오', 순위(ranking), 또는 숫자가 필요하다면, 예측형 경로가 보통 더 짧은 길입니다. 만약 기능에 새로운 텍스트, 이미지 또는 코드가 필요하다면, 생성형 경로만이 그것들을 만들어냅니다.
예측형 모델은 레이블링된 데이터가 필요하고, 생성형 모델은 대량의 원시 데이터(raw data)가 필요하므로, 코드를 작성하기 전에 종종 데이터 질문이 접근 방식을 결정합니다. 예측형 모델은 정답이 이미 알려진 예시로부터 학습합니다: 사기 또는 합법으로 레이블링된 과거 거래, 이탈했거나 유지되었다고 레이블링된 고객, 또는 실제 판매 수치로 레이블링된 날짜 등이 있습니다. 이러한 레이블의 품질이 모델 품질의 상한선을 설정하며, 잘못되었거나 일관성이 없거나 더 이상 라이브 시스템과 일치하지 않는 프로세스에서 수집된 레이블은 아무리 조정(tuning)해도 고칠 수 없습니다.
예측형 모델의 데이터 작업은 주로 피처 엔지니어링(feature engineering)에 달려 있습니다. 개발자는 모델이 어떤 입력을 볼지, 결측값(missing values)을 어떻게 처리할지, 범주형 값(categorical values)을 어떻게 인코딩할지, 그리고 데이터를 훈련 세트와 테스트 세트로 분리하면서 미래의 정보가 과거로 누출되지 않도록 해야 하는지를 결정해야 합니다. 시간 기반 분할(Time based splits)이 여기서 중요합니다. 만약 모델이 예측 시점 이후의 이벤트를 포함하는 데이터로 훈련된다면, 테스트 결과는 실제 라이브 환경의 결과보다 더 좋아 보일 것이며, 팀은 출시 후에야 이를 알게 될 것입니다.
생성형 모델(Generative models)은 데이터 부담을 다른 방향으로 이동시킵니다. 이들의 사전 학습 단계(pretraining stage)는 매우 방대한 양의 텍스트, 이미지 또는 코드를 소비하기 때문에, 대부분의 팀은 대규모 생성형 모델을 처음부터(from scratch) 훈련하지 않습니다. 대신, 팀은 일반적으로 이미 사전 학습된 모델을 가져와 프롬프팅(prompting), 검색 증강(retrieval), 또는 파인튜닝(fine tuning)을 통해 팀 자체의 콘텐츠와 스타일을 나타내는 훨씬 작은 데이터셋으로 적응시킵니다. 이 더 작은 데이터셋 역시 깨끗하고 대표적이어야 합니다. 왜냐하면 수백 개의 저품질 예제로 파인튜닝된 모델은 저품질 출력을 생성할 것이기 때문입니다. 생성형 작업의 또 다른 데이터 질문은 추론 시간(inference time)에 모델이 무엇을 볼 수 있도록 허용되는지입니다. 즉, 프롬프트와 함께 제공되는 문서, 기록 또는 컨텍스트, 그리고 개인 데이터를 해당 컨텍스트에서 제외하는 규칙들입니다.
선택하기 전에 유용한 점검 사항은 팀이 실제로 보유하고 있는 레이블링된 예제(labeled examples)의 개수를 세어보는 것입니다. 만약 그 수가 수백 개 정도라면, 예측형 모델은 간단한 문제에는 여전히 작동할 수 있지만, 복잡한 문제는 어려움을 겪을 것이며, 신중한 프롬프팅이 적용된 생성형 모델이 더 현실적인 경로일 수 있습니다. 만약 팀이 수년간의 깨끗하고 레이블링된 이력을 가지고 있다면, 예측형 모델은 종종 더 적은 인프라와 더 예측 가능한 동작으로 결과를 제공할 수 있습니다.
예측형 모델은 숫자로 평가되는 반면, 생성형 모델은 인간의 판단과 숫자가 혼합되어 평가됩니다. 그 이유는 오직 예측형 모델만이 단 하나의 정답을 가지고 있기 때문입니다. 예측형 모델의 경우, 개발자는 모델이 한 번도 본 적 없는 테스트 세트를 분리하여 모델에 실행하고, 예측값과 실제 값 사이의 차이를 측정합니다. 분류(Classification) 작업은 정확도(accuracy), 정밀도(precision), 재현율(recall), F1 점수(F1 score), 그리고 ROC 곡선 아래 면적(area under the ROC curve)을 사용하며, 회귀(regression) 작업은 평균 절대 오차(mean absolute error)와 제곱근 평균 제곱 오차(root mean squared error)를 사용합니다. 이러한 지표들은 반복 가능합니다: 동일한 테스트 세트를 두 번 실행해도 숫자는 같기 때문에, 두 모델 버전을 비교하고 어느 것이 더 나은지 판단할 수 있습니다.
생성형 평가(Generative evaluation)는 아직 정립되지 않은 부분이 많습니다. 생성된 요약본을 참고 요약본과 비교하는 것과 같은 좁은 작업에는 자동화된 점수가 존재하지만, 개방형 생성을 위해서는 비교할 기준 답변이 없습니다. 팀들은 보통 대표적인 프롬프트로 구성된 평가 세트를 구축하고, 출력을 생성한 다음, 정확성(correctness), 관련성(relevance), 톤(tone), 안전성(safety)을 다루는 루브릭(rubric)으로 점수를 매기며, 종종 인간 검토자가 샘플을 채점합니다. 일부 팀은 두 번째 모델을 심판(judge)으로 사용하는데, 이는 채점을 빠르게 하지만 자체적인 편향성을 추가하므로, 그 결과는 판결이 아닌 신호로 취급되어야 합니다. 실용적인 접근 방식은 고정된 프롬프트 세트와 고정된 루브릭을 유지하고, 모든 모델 변경 시 동일한 평가를 실행하며, 팀이 테스트 커버리지(test coverage)를 추적하는 방식처럼 시간이 지남에 따라 점수를 기록하는 것입니다.
두 계열 모두에 적용되는 하나의 평가 습관이 있습니다: 프로덕션 환경과 유사한 데이터로 평가하는 것입니다. 깨끗한 과거 데이터로 테스트된 예측형 모델은 지저분한 라이브 데이터에서는 실패할 수 있으며, 열 개만 선별된 프롬프트에서 좋은 결과를 보이는 생성형 모델도 실제 사용자 요청의 롱테일(long tail) 부분에서는 실패할 수 있습니다. 개인 정보 보호 통제 장치를 갖추고 라이브 입력 및 출력 샘플을 기록하는 것은 팀에게 더 나은 평가 세트를 구축할 자료를 제공하며, 이 세트는 종종 팀이 생산하는 가장 가치 있는 결과물이며, 어떤 단일 모델 버전보다도 가치가 높습니다.
예측형 모델은 일반적으로 생성형 모델보다 실행 비용이 저렴합니다. 그 이유는 더 작고, 빠르며, 일반적인 인프라에 배포하기 쉽기 때문입니다. 훈련된 트리 기반 모델이나 작은 신경망(neural network)은 CPU에서 밀리초(milliseconds) 만에 예측 답변을 할 수 있고, 단일 컨테이너에서 초당 수천 개의 요청을 처리할 수 있으며, 다른 코드 조각처럼 버전 관리가 가능합니다. 비용은 컴퓨팅 파워가 아니라 데이터 파이프라인과 모니터링에 의해 지배되며, 팀은 종종 요청 볼륨으로부터 월별 청구서를 합리적인 정확도로 예측할 수 있습니다.
생성형 모델은 비용 구조를 변화시킵니다. 대규모 언어 모델(LLM)은 일반적으로 GPU 하드웨어 또는 관리형 API가 필요하며, 그 비용은 프롬프트와 출력에 포함된 토큰(token) 수에 따라 증가합니다. 모든 요청과 함께 긴 문서를 보내거나 긴 응답을 요구하는 기능은 짧은 프롬프트를 보내고 짧은 답변을 받는 기능보다 훨씬 더 많은 비용이 발생할 것입니다. 지연 시간(Latency) 또한 출력 길이에 따라 증가하는데, 모델이 한 번에 하나의 토큰을 생성하기 때문에 긴 응답에는 몇 초가 걸릴 수 있는 반면, 예측형 모델은 밀리초 만에 답변했을 것입니다. 캐싱(Caching), 프롬프트 트리밍(prompt trimming), 그리고 간단한 요청에 대해 더 작은 모델을 선택하는 것이 팀들이 청구서를 낮게 유지하는 일반적인 방법이지만, 이 각각의 방식들은 예측형 모델이 필요로 하지 않을 복잡성을 추가합니다.“,
비용은 다른 모델과 비교할 것이 아니라 가치와 비교해야 합니다. 부정 거래를 차단하는 사기 점수(fraud score)는 계산하는 데 드는 아주 적은 비용보다 훨씬 더 큰 가치가 있으며, 사용자에게 10분의 시간을 절약해 주는 생성된 초안(generated draft)은 소비한 토큰 수보다 더 큰 가치를 지닙니다. 가장 비싼 실수는 그 반대입니다. 단순히 생성형 모델을 시연하기가 더 쉽다는 이유만으로 작은 예측형 모델이 할 수 있는 작업을 거대한 생성형 모델로 처리하는 것입니다. 실제 트래픽에서 토큰 카운트와 지연 시간(latency)을 기록하여 짧게 비용 테스트를 진행하면 그 차이가 명확히 드러날 것입니다.
예측형 모델은 일반 소프트웨어 구성 요소처럼 배포되는 반면, 생성형 모델은 동작이 변할 수 있는 서비스처럼 배포됩니다. 따라서 배포 패턴이 다릅니다. 예측형 모델은 보통 버전 번호가 지정된 아티팩트(artifact)로 패키징되며, 예상하는 피처 목록과 알려진 지표를 가진 테스트 세트로 구성됩니다. 서빙 코드(serving code)는 이 아티팩트를 로드하고, 입력 스키마(input schema)를 검증한 후 예측값을 반환합니다. 롤백(Rollback)은 간단합니다. 이전 버전의 아티팩트를 배포하면 됩니다. 모니터링은 '예측 드리프트(prediction drift)'를 추적하는데, 이는 시간이 지남에 따라 모델의 정확도를 떨어뜨리는 실시간 데이터의 느린 변화를 의미하며, 입력 유효성 검사(input validation)는 그렇지 않으면 무의미한 점수를 생성할 수 있는 잘못된 요청을 잡아냅니다.
생성형 모델은 더 많은 가드레일(guardrails)이 필요합니다. 프롬프트 자체가 시스템의 일부이므로, 프롬프트 템플릿(prompt templates)은 코드처럼 버전 관리가 되어야 하며, 여기에 변경 사항이 생기면 코드 변경과 동일한 검토 및 테스트 과정을 거쳐야 합니다. 출력물은 사용자에게 도달하기 전에 확인 과정이 필요합니다: 형식 유효성 검사(format validation), 길이 제한, 금지된 콘텐츠 필터링, 그리고 중요도가 높은 기능의 경우 인간 검토 단계가 필수적입니다. 또한 팀은 잘못된 출력을 해당 프롬프트, 모델 버전, 그리고 컨텍스트로 추적할 수 있는 방법이 필요합니다. 이 추적이 없으면 디버깅은 추측에 불과하기 때문입니다. 사용자 요청 하나만으로도 다른 사용자의 리소스를 점유하는 긴 생성을 유발할 수 있으므로, 레이트 제한(Rate limits)과 타임아웃(Timeouts)이 더욱 중요해집니다.
두 모델 모두에 효과적인 한 가지 패턴은 '그림자 배포(shadow deployment)'로 시작하는 것입니다. 새로운 모델을 기존 동작과 병행하여 실행하고, 그 출력을 기록한 다음, 사용자에게 보여주지 않은 상태에서 현재 결과와 비교합니다. 예측형 모델의 경우, 비교가 수치적이고 빠릅니다. 생성형 모델의 경우, 팀은 출력 샘플을 검토하며 평가 세트(evaluation set)가 놓친 실패 사례를 찾습니다. 그림자 테스트 결과가 양호할 때만 모델이 실제 트래픽을 담당하게 되며, 설령 그럴지라도 '킬 스위치(kill switch)'와 함께 점진적으로 배포하는 것이 더 안전한 경로입니다.
두 모델을 결합하는 것은 해당 기능이 결정과 새로운 콘텐츠가 모두 필요할 때 의미가 있습니다. 왜냐하면 각 계열은 서로의 약점을 보완하기 때문입니다. 일반적인 패턴은 예측형 모델을 사용하여 무엇이 발생해야 할지 결정하고, 생성형 모델을 사용하여 이를 수행할 단어, 이미지 또는 코드를 생성하는 것입니다. 지원 시스템은 분류기(classifier)를 사용하여 티켓을 라우팅하고 긴급도를 추정한 다음, 생성형 모델을 사용하여 적절한 어조로 답장을 초안 작성할 수 있습니다. 영업 도구는 예측 모델(forecasting model)을 사용하여 구매 가능성이 가장 높은 계정을 순위화한 다음, 각 계정에 대한 개인화된 메시지를 생성형 모델로 초안 작성할 수 있습니다. 예측 부분은 측정과 통제력을 가져오고, 생성 부분은 유창함과 확장성을 가져옵니다.
또 다른 패턴은 반대 방향으로 진행됩니다. 즉, 생성형 모델이 예측형 모델을 훈련하는 데 도움이 되는 합성 데이터(synthetic data)를 만듭니다. 레이블링된 예시가 부족할 때, 팀은 추가적인 훈련 예제나 기존 예제의 변형을 생성하여 작은 데이터셋을 확장하는 데 사용할 수 있습니다. 이는 생성된 데이터를 실제 예시와 비교했을 때만 작동합니다. 현실에서 벗어난 합성 데이터는 예측 모델에게 잘못된 패턴을 가르치기 때문입니다. '검증 세트(held out set)'인 실제 예시가 검사 기준이 됩니다. 만약 합성 데이터로 훈련한 모델이 실제 데이터에서 더 나은 성능을 보인다면 접근 방식이 성공적이며, 그렇지 않다면 합성 데이터가 해를 끼치고 있다는 의미입니다.