AI 애플리케이션은 종종 품질 벤치마크 (quality benchmarks)를 사용하여 모델을 선택합니다. 프로덕션 시스템 (Production systems)에는 경제적 제약 조건도 필요합니다.

기술적으로 작동하는 기능이라도 사용량이 증가하면 지속 불가능해질 수 있습니다.

기능 예산 정의하기
interface AIFeatureBudget {
feature: string;
maximumCostPerRequest: number;
maximumLatencyMs: number;
minimumQualityScore: number;
}

예산은 제공자 (provider)보다는 제품 기능 (product feature)에 속합니다.
const supportReplyBudget: AIFeatureBudget = {
feature: "support-reply",
maximumCostPerRequest: 0.02,
maximumLatencyMs: 2500,
minimumQualityScore: 0.85
};

실행 전 추정하기
interface ModelCandidate {
model: string;
estimatedCost: number;
estimatedLatency: number;
qualityScore: number;
}

function eligibleModels(
candidates: ModelCandidate[],
budget: AIFeatureBudget
) {
return candidates.filter(candidate =>
candidate.estimatedCost <= budget.maximumCostPerRequest &&
candidate.estimatedLatency <= budget.maximumLatencyMs &&
candidate.qualityScore >= budget.minimumQualityScore
);
}

가장 저렴한 모델이 자동으로 승리해서는 안 됩니다. 재시도 (retries), 지원 업무 (support work), 고객 이탈 (customer churn)을 고려하면 실패하거나 사용할 수 없는 결과가 더 많은 비용을 초래할 수 있습니다.

실제 경제 지표 기록하기
interface FeatureUsageEvent {
feature: string;
customerId: string;
model: string;
inputTokens: number;
outputTokens: number;
actualCost: number;
latencyMs: number;
successful: boolean;
}

이러한 이벤트 (events)를 통해 팀은 추정 비용과 실제 비용을 비교하고, 비용이 많이 드는 워크플로 (workflows)를 식별하며, 성공적인 작업당 비용을 계산할 수 있습니다.

VectorNode는 모델 기반 제품을 위한 이러한 AI 경제 계층 (AI economics layer)을 개발하고 있습니다. 즉, 모델 사용을 제품 및 비용 결정과 연결하는 인프라입니다.

모델 요청은 기술적 이벤트 (technical event)입니다.
그 비용은 비즈니스 이벤트 (business event)입니다.