System One 모델을 활용한 보정 및 위험 예산 기반 의사결정

요약

본 연구는 LLM 워크플로우의 이진 결정 과정에서 발생하는 불확실한 사례에 대한 의사결정 점수를 분석합니다. 특히, 보수적인 폴백과 거짓 누락 위험 제어를 통해 효용 극대화 조치를 수행하는 System One 모델을 제시했습니다. 테스트 결과, 기존 방식보다 위험 예산 기반 선택이 더 효과적임을 입증했습니다.

핵심 포인트

• LLM 워크플로우의 불확실한 사례에 대한 의사결정 점수 분석.
• 보수적인 폴백과 거짓 누락 위험 제어를 통한 효용 극대화 조치 수행.
• 위험 예산 기반 선택이 기존 방식보다 높은 성능을 보임.
• 단순 임계값 기준선은 목표 위험을 초과하는 경우가 많아 배포에 부적합함.