모델 이름이 아닌 예산으로 AI 기능을 설계하기

많은 AI 기능들이 애플리케이션에 모델 이름을 직접 포함하는 방식으로 시작됩니다.

const response = await client.generate({
model: "specific-model",
input
});

이 방식은 구현하기 쉽지만, 제품의 동작을 제공업체(provider)의 결정과 연결시켜 버립니다. 가격, 지연 시간(latency) 또는 모델 품질이 변경될 때마다 애플리케이션 코드도 함께 변경되어야 합니다.

더 지속 가능한 접근 방식은 서비스 목표(service objective)를 정의하는 것입니다.

기능에 필요한 사항을 정의하세요.

interface IntelligenceObjective {
task: "reasoning" | "coding" | "vision" | "extraction";
minimumQuality: number;
maximumLatencyMs: number;
maximumCostUsd: number;
}

interface IntelligenceRequest {
objective: IntelligenceObjective;
input: string;
feature: string;
customerId: string;
}

제품은 기대되는 결과와 운영 제한 사항을 명시합니다. 제공업체를 직접 선택하지는 않습니다.

async function runFeature(request: IntelligenceRequest) {
return intelligenceUtility.execute({
input: request.input,
task: request.objective.task,
constraints: {
quality: request.objective.minimumQuality,
latency: request.objective.maximumLatencyMs,
cost: request.objective.maximumCostUsd
}
});
}

이제 인텔리전스 계층(intelligence layer)은 적합한 모델을 평가하고, 정책을 적용하며, 결과를 기록할 수 있습니다.

모든 결정을 기록하세요

프로덕션 환경의 응답은 생성된 텍스트 그 이상을 포함해야 합니다.

interface IntelligenceResult {
output: string;
selectedModel: string;
provider: string;
latencyMs: number;
inputTokens: number;
outputTokens: number;
estimatedCostUsd: number;
}

이를 통해 벤치마크 점수만이 아니라, 기능적 결과(feature outcome)를 기준으로 모델을 비교하는 것이 가능해집니다.

VectorNode는 이러한 아이디어를 중심으로 개발되고 있습니다. 즉, 모델의 역량을 측정 가능한 프로덕션 리소스로 전환하는 프로그래밍 가능한 인텔리전스 유틸리티입니다.

중요한 추상화(abstraction)는 더 이상 하나의 API 형식이 아닙니다.

그것은 제품과 제품이 소비하는 인텔리전스 사이의 서비스 목표입니다.