문제점 (The Problem)

Patronus AI와 같은 LLM 평가 도구는 환각 탐지 (hallucination detection), 유해성 검사 (toxicity checks), 그리고 의미론적 관련성 (semantic relevance) 확인에는 탁월합니다. 하지만 다음과 같은 구조적 (structural) 실패는 잡아내지 못합니다:

• 필수 필드가 누락된 JSON 응답
• 형식이 잘못된 파라미터를 가진 함수 호출 (function call)
• 스키마 제약 조건 (schema constraints)을 위반하는 출력
• UX를 조용히 저하시키는 지연 시간 예산 (latency budget) 초과
• 통제되지 않는 토큰 사용으로 인한 비용 폭발

이것들은 환각이 아닙니다. 검증 실패 (verification failures)입니다.

해결책 (The Solution)

correctover-patronus는 Correctover의 87가지 결정론적 검증 규칙 (deterministic verification rules)을 Patronus의 네이티브 평가기 (evaluators)로 실행하는 어댑터 (adapter)입니다. 모든 판정에는 재계산 가능한 증명 해시 (recomputable proof hash)가 포함됩니다. 즉, 검증기 (verifier) 자체를 검증할 수 있다는 의미입니다.

pip install correctover-patronus

6가지 차원 (The 6 Dimensions)

차원 (Dimension)	검사 항목	예시
구조 (Structure)	출력 형식의 유효성	JSON이 올바르게 파싱됨
...

사용법 (Usage)

전체 6차원 검증 (Full 6-Dimension Verification)

from correctover_patronus import CorrectoverEvaluator, CorrectoverConfig

config = CorrectoverConfig(
...

개별 차원 (Individual Dimensions)

from correctover_patronus import correctover_structure, correctover_integrity

# 출력이 유효한 JSON인지 확인
...

Patronus 실험 통합 (Patronus Experiments Integration)

from correctover_patronus import correctover_full

# 체계적인 벤치마킹을 위해 Patronus 실험에서 사용
...

재계산 가능한 증명 (Recomputable Proof)

모든 평가는 메타데이터에 proof_hash를 생성합니다. 이 해시는 다음 항목을 포함합니다:

• 입력 텍스트 (input text)
• 출력 텍스트 (output text)
• 적용된 검증 규칙 (verification rules)
• 각 차원에 대한 판정 (verdict)

동일한 검증을 다시 실행하여 동일한 해시를 얻을 수 있습니다. 블랙박스 (black boxes)는 없습니다.

아키텍처 (Architecture)

┌─────────────────┐     ┌──────────────────────┐
│   Patronus AI   │────>│  correctover-patronus │
│   Framework     │     │  (this adapter)       │
│                 │     │                      │
└─────────────────┘     └──────────────────────┘
...

성능 (Performance)

성능 (Performance)

• P50 검증 지연 시간(verification latency): 22μs
• 자가 복구 규칙(Self-healing rules): 87
• SDK 크기: 586KB
• 외부 API 호출 없음(Zero external API calls) — 완전 결정론적(fully deterministic), 로컬 실행

링크 (Links)

• GitHub: https://github.com/Correctover/correctover-patronus
• PyPI: https://pypi.org/project/correctover-patronus/
• Core SDK: https://github.com/Correctover/correctover-crewai
• 표준(Standards): https://github.com/Correctover/correctover-crewai/blob/main/STANDARDS.md
• 적합성 보드(Conformance Board): https://api.babyblueviper.com/conformance

Failover ≠ Correctover.™

*Correctover는 검증합니다(verifies). Patronus가 평가합니다(evaluates). 함께하면: 완벽한 출력 보장입니다(complete output assurance).