재시도(Retry)가 왜 자가 치유(Self-Healing)가 아닌가: LLM API를 위한 기술적 심층 분석

모든 LLM API 래퍼(wrapper)들은 "자가 치유(self-healing)"를 주장합니다. 하지만 그들이 실제로 하는 일은 오류 발생 시 동일한 요청을 재시도하거나 다른 제공자(provider)로 전환하는 것뿐입니다.

그것은 자가 치유가 아닙니다. 그것은 희망에 기반한 개발 (hope-driven development) 입니다.

재시도의 오류 (The Retry Fallacy)

재시도가 해결하는 것은 다음과 같습니다:

# 재시도 로직 (Retry logic)
if response.status_code == 429:  # 속도 제한 (Rate limited)
    wait_and_retry()

재시도가 해결하지 못하는 것은 다음과 같습니다:

• 응답이 잘렸지만(truncated) 200 OK를 반환한 경우
• 응답의 스키마(schema)는 맞지만 의미론적(semantically)으로 틀린 내용인 경우
• 백업 제공자(backup provider) 또한 성능 저하 상태인 경우 (단순히 다운된 것이 아니라 느려진 상태)
• 토큰당 비용이 두 배로 뛰었으나 아무도 알아차리지 못한 경우

고장 난 파이프를 재시도한다고 해서 물이 고쳐지지는 않습니다. 그저 동일한 고장 난 파이프를 통해 더 많은 물을 보낼 뿐입니다.

진정한 자가 치유(Self-Healing)란 무엇인가

자가 치유는 재시도만으로는 제공할 수 없는 세 가지 능력을 필요로 합니다:

1. 계약 검증 (Contract Validation)

어떠한 응답도 수락하기 전에, 해당 응답이 계약(contract)을 충족하는지 확인하십시오:

contract = {
    "status": {"max_errors": 0},           # HTTP 오류 없음
    "schema": {"type": "object", "required": ["answer"]},  # 구조 확인 (Structure check)
...

각 차원은 독립적으로 구성 가능합니다. 어떤 검증이라도 실패하면 = 장애 조치(failover)를 트리거합니다.

2. 검증된 장애 조치 (Verified Failover)

계약 위반으로 인해 장애 조치가 트리거될 때:

# 표준 장애 조치 (단순한 방식)
provider_b_response = call_provider_b(prompt)
return provider_b_response  # 최선의 결과가 나오길 기도함
...

검증되지 않은 응답을 사용자에게 절대 제공해서는 안 됩니다.

3. 드리프트 탐지 (Drift Detection)

동일한 프롬프트(prompt)를 서로 다른 제공자에게 보낼 때 종종 의미론적으로 다른 결과가 반환됩니다:

표준 장애 조치는 세 가지 모두를 수락할 것입니다. Correctover는 드리프트(drift)를 플래그(flag)하고 검증된 응답을 선택합니다.

아키텍처 (The Architecture)

요청 (Request) → [제공자 A (Provider A)]
              ↓
         [계약 검증기 (Contract Validator)]
...

모든 응답은 애플리케이션에 도달하기 전 6개의 검증 체크포인트를 통과합니다.

P50 오버헤드 (Overhead): 22µs

계약 검증 (Contract validation)은 P50 기준으로 22마이크로초(microseconds)를 추가합니다. 이해를 돕기 위한 비교 수치는 다음과 같습니다:

• 단일 LLM API 호출: 500-5000ms
• 네트워크 왕복 시간 (Network round-trip): 1-50ms
• Correctover 검증: 0.022ms

검증 과정은 보호 대상인 API 호출보다 22,000배 더 빠릅니다.

BYOK: 당신의 키, 당신의 연결

Correctover는 사용자의 API 키나 응답을 절대 확인하지 않습니다:

• 사용자가 직접 API 키를 제공합니다.
• 호출은 사용자의 인프라에서 제공자(Provider)로 직접 전달됩니다.
• Correctover는 로컬에서 검증하며, 프록시(Proxy)가 개입하지 않습니다.
• 토큰 마진(Token markup)이 없으며, 데이터 로깅을 수행하지 않습니다.

이것은 게이트웨이(Gateway)가 아닙니다. 로컬 신뢰성 런타임 (Local reliability runtime)입니다.

시작하기

from correctover import CorrectoverEngine

engine = CorrectoverEngine.create({
...

pip install correctover

Correctover — Failover의 올바른 버전

Failover는 전환(Switch)하지만, Correctover는 검증(Verify)합니다.