LLM(대규모 언어 모델) API 호출이나 Agent를 이용한 자동화 처리, WebHook 연동 등을 활용하는 비동기 작업 처리에서는 네트워크 오류나 타임아웃이 발생하기 쉽습니다. 이때 재시도(Retry) 처리가 트리거되면서 동일한 처리가 중복 실행되어 데이터 중복, 불필요한 외부 API 비용 발생, 외부 서비스로의 알림 중복 등의 문제가 발생하는 경우가 있습니다.
-
AI 자동화 처리에서 공리성(Idempotency)을 확보하는 중요성
-
공리성을 확보하기 위한 설계 패턴 (공리 키와 데이터베이스 제약)
-
Python과 Redis를 이용한 중복 실행 방지 구현 예시
-
실무에 적용 가능한 공리성 설계 체크리스트
-
AI를 활용한 자동화 파이프라인이나 백엔드 처리를 개발하는 엔지니어
-
FastAPI와 같은 Web 프레임워크, Redis, RDB를 이용한 기본 구성을 이해하고 있는 분
공리성이란 '어떤 작업을 1회 수행하든 여러 번 수행하든 결과가 동일하게 유지되는 성질'을 의미합니다. AI 자동화에서는 네트워크 단절 등으로 응답이 끊겼을 때, 클라이언트 측에서 재시도를 하더라도 시스템 상태가 무너지지 않도록 설계하는 것이 요구됩니다.
- 나쁜 예 (비공리성): 'AI로 요약문을 생성하여 데이터베이스에 저장'하는 처리에서 오류 발생 시 재실행하면 동일한 요약 데이터가 매번 새로 생성되어 중복되는 경우.
- 좋은 예 (공리성): 요청마다 고유한 '공리 키(Idempotency Key)'를 부여하고, 이미 처리된 기록이 있다면 기존의 생성 결과를 반환하며 데이터베이스 업데이트는 수행하지 않는 경우.
대표적인 구현 방법으로는 Distributed Lock(분산 잠금)과 공리 키를 Redis와 같은 인메모리 DB를 사용하여 유지하는 방식이 있습니다.
- 클라이언트로부터 '처리 ID (예: 태스크 UUID)'를 포함한 요청을 수신합니다.
- Redis에서 해당 처리 ID가 등록되어 있는지 (잠금 중인지 또는 처리가 완료되었는지) 확인합니다.
- 미등록인 경우: 잠금을 획득하고 AI 처리를 실행하며, 결과를 영속화한 후 Redis에 완료 플래그(또는 캐시 결과)를 유지합니다.
- 등록된 경우: 중복 실행으로 간주하여 처리를 건너뛰거나 이전의 실행 결과를 반환합니다.
아래는 Python (FastAPI 가정)과 Redis를 사용하여 AI 텍스트 생성 작업의 중복 실행을 방지하는 샘플 코드입니다.
※ 이 코드는 개념을 보여주는 자체 구현 예시입니다. 실제 운영 환경에서 이용할 경우에는 연결 오류 핸들링이나 배타적 제어(Exclusive Control)에 대한 엄격한 조정이 필요합니다.
import time
import uuid
from typing import Optional
...
Redis와 같은 캐시 기반 외에도, 영속화 스토리지(RDB)에서의 UNIQUE 제약을 병용하는 것이 권장됩니다.
| 레이어 | 역할 | 트레이드오프/특징 |
|---|
| Redis (애플리케이션 계층) | 중복 요청의 즉시 차단, 고속 결과 반환 | 인메모리이므로 영속화 설정이 없는 경우 데이터 소실 위험 있음 |
| DB UNIQUE 제약 (스토리지 계층) | 최종 방어선으로서 불일치 데이터 방지 | 중복 감지 시 DB 예외가 발생하므로, 애플리케이션 측에서 캐치 처리가 필요 |
SQL 구현 예시:
CREATE TABLE ai_processing_logs (
id BIGSERIAL PRIMARY KEY,
request_id VARCHAR(64) NOT NULL UNIQUE, -- 공리 키에 대한 유니크 제약
...
- 잠금의 타임아웃 값 (TTL) 설정
AI 추론 처리는 응답 시간이 변화하기 쉬우므로, 잠금 유효 기간이 너무 짧으면 처리 도중에 잠금이 풀려 중복 실행이 발생할 가능성이 있습니다. 여유를 둔 TTL을 설정하거나, 주기적으로 연장하는 메커니즘을 검토해야 합니다.
- 외부 API 부작용(Side Effect)의 처리
외부 서비스(Slack 알림, 이메일 전송 등)로의 출력이 포함되는 경우, AI 생성과 알림 처리 사이에 오류가 발생하면 '알림만 중복 전송'되는 상태가 될 수 있습니다. 트랜잭션 범위와 부작용을 분리하여 설계해야 합니다.
- 사양(Specification) 업데이트에 대한 주의
클라우드 서비스나 외부 AI API의 사양, 각종 라이브러리의 버그 및 사양 변경으로 동작이 달라질 가능성이 있으므로, 구현 시에는 각 이용 기술의 최신 공식 문서를 확인해야 합니다.
운영 환경에 배포하기 전에, 다음 항목들을 확인해 주십시오.
- 요청 측에서 고유 ID(UUID 등)를 생성하고 전송하는 메커니즘이 있는가?
- 처리 중인 중복 요청에 대해 배타적 제어(분산 락 등)가 이루어지고 있는가?
- 처리 성공 시의 결과가 일정 기간 캐시/저장되어 재요청 시 동일한 응답을 반환할 수 있는가?
- DB에 고유 제약(UNIQUE 인덱스)이 올바르게 설정되어 있는가?
- AI 처리가 타임아웃했을 경우의 재시도 정책(지수 백오프 등)이 설계되어 있는가?
- 처리 실패 시(예외 발생 시)에 락이 올바르게 해제되는 구조인가? (
try...finally 등의 구현)
AI 자동화 처리에서는 네트워크나 모델 지연에 따른 재시도(retry)가 발생하기 쉬우므로, **멱등성 설계 (Idempotency design)**가 필수적입니다. 애플리케이션 계층에서의 락 관리와 데이터베이스 계층에서의 제약 조건을 결합하여, 이중 실행을 안전하게 방지하는 아키텍처를 구축해야 합니다.