REGATTA: 엔터프라이즈 AI 에이전트를 위한 도메인 간 측정 프레임워크 및 오류 주입 하네스

엔터프라이즈 AI 에이전트의 평가는 테스트 스위트가 지정된 결함을 노출하는지, 그리고 그 참조 규칙이 신뢰할 수 있는지에 대한 증거를 필요로 합니다. 우리는 세 가지 도구를 갖춘 측정 프레임워크인 REGATTA (Regulatory Evaluation of Agents via Two-stage Testing and Assurance)를 소개합니다. 125개 항목의 출처 인용 체크리스트는 미국과 베트남 전역의 다섯 개 산업별 관할 지역 셀을 아우릅니다. 25개의 결함 코퍼스(fault corpus)는 다섯 가지 범주를 다루며, 하네스는 설계 단계와 실행 단계에서 스위트 수준의 오류 탐지(fault detection) 점수를 매깁니다.

우리는 세 개의 LLM 생성기에서 생성된 180개의 스위트 (5,400개 시나리오)에 대해 네 가지 측정 진단(measurement diagnostics)을 검토했습니다. 출처 감사를 통해 현재 시행 중인 규칙을 잘못 명시한 항목이 24개 발견되었고, 추가 인용 결함이 46개, 구속력이 없거나 식별 불가능하거나 검증할 수 없는 출처만 가진 항목이 31개였으며, 검증된 깨끗한(clean) 항목은 24개였습니다. 오직 처음에 실질적인 문제가 있다고 플래그가 지정된 항목에 대해서만 저자 검토를 받았고, 모든 24개의 깨끗한 행은 AI 검토만을 받았습니다. 따라서 결과는 법적 준수 여부가 아닌 작성된 도구 자체를 설명합니다. 항목 커버리지는 다양하며, 실행 단계의 오류 프로파일은 생성기 전반에 걸쳐 안정적이었고, 역사적 단계들은 결함-스위트 쌍의 66%~69%에서 일치했습니다.

현재 모델을 사용한 미국 보험 재테스트(retest)에서는 반복 실행 변동성보다 높은 단계 불일치가 발견되었으나, 단계 일치도 $.536$은 풀링된 기회 확률인 $.549$보다 낮아 V3의 낮은 부등식 기준을 충족하지 못했습니다. 한 전문가가 수행한 맹검 판정(Blind adjudication)은 설계 단계 판단 프로토콜($ ext{κ}=.72$, 95% 구간 $[.52,.88]$)을 지지했으며, 40개의 현재 모델 실행 탐침(execution probes)은 $ ext{κ}=.75$를 기록했습니다. 이 도구들, 감사 보고서, 그리고 재사용 가능한 코드가 공개됩니다.