AI 요청이 실패했다고 해서 항상 작업이 실패한 것을 의미하지는 않습니다.

때로는 모델이 이미 완료한 후 클라이언트가 응답을 놓치기도 합니다. 때로는 도구 호출 (tool call)이 여전히 실행 중인 동안 워커 (worker)가 재시작되기도 합니다. 때로는 타임아웃 (timeout)이 발생하여 원래 요청이 여전히 살아있는 동안 재시도 (retry)를 트리거하기도 합니다.

그러면 한 번의 사용자 작업이 다음과 같이 변합니다:

• 두 번의 모델 호출 (model calls)
• 두 번의 추출 작업 (extraction jobs)
• 두 번의 고객 지원 티켓 (support tickets)
• 두 번의 이메일 (emails)
• 두 번의 데이터베이스 쓰기 (database writes)
• 두 번의 청구서 (bills)

이것은 모델 품질의 문제가 아닙니다.

이것은 멱등성 (idempotency) 문제입니다.

재시도가 새로운 작업을 생성해서는 안 됩니다

프로덕션 (production) AI 시스템에서 재시도는 정상적인 현상입니다.

네트워크는 실패합니다. 제공업체 (providers)는 느려집니다. 도구 호출 (tool calls)은 타임아웃이 발생합니다. 큐 (queues)는 작업을 재전송합니다. 기본 경로 (primary route)가 불확실해지면 폴백 경로 (fallback route)가 시작될 수 있습니다.

실수는 모든 재시도를 새로운 작업으로 취급하는 것입니다.

대신, 각 비즈니스 액션 (business action)에 대해 하나의 내구성이 있는 작업 (durable job)을 정의하십시오:

• 하나의 업로드된 문서 (uploaded document)
• 하나의 인보이스 추출 (invoice extraction)
• 하나의 고객 지원 대화 요약 (support conversation summary)
• 하나의 예약된 보고서 (scheduled report)
• 하나의 중재 이벤트 (moderation event)
• 하나의 에이전트 작업 (agent task)

모든 시도는 동일한 해당 작업에 속해야 합니다.

멱등성 키 (idempotency key)를 사용하세요

각 비즈니스 액션에 안정적인 멱등성 키 (idempotency key)를 부여하십시오.

예를 들어:

json
{
...