선택적 감사를 통한 신뢰성 높은 AI 지원 결정

요약

본 글은 의사결정 시퀀스를 온라인으로 모니터링하는 AI 시스템을 제안합니다. 각 결정에 신뢰도 점수를 부여하고, 이를 바탕으로 자동 수락 또는 인간 감사자에게 에스컬레이션 여부를 결정합니다. 이는 오류를 통제하면서 전문가 검토 빈도를 최소화하는 최적의 알고리즘을 제시하며, LLM 스크리닝 등 실제 환경에서 유효함을 입증했습니다.

핵심 포인트

• AI 의사결정 시퀀스를 온라인으로 모니터링하는 프레임워크를 제안합니다.
• 제안된 결정과 신뢰도는 별도의 검증 에이전트(verifier agent)가 평가할 수 있습니다.
• 오류 통제를 보장하면서 전문가 감사 빈도를 최소화하는 최적의 알고리즘을 도출했습니다.
• 적대적 및 i.i.d. 데이터 스트림 모두에서 최고의 감사율을 달성합니다.