LLM 에이전트의 충실한 불확실성: 실제 적용 시 보정(Calibration)과 유용성(Utility) 사이의 트레이드오프

요약

LLM 에이전트의 환각을 줄이기 위해 신뢰도와 정확성을 일치시키는 보정(Calibration)의 중요성을 다룹니다. 검증기를 활용한 계획 단계의 검증 패턴과 그에 따른 지연 시간 및 유용성 사이의 트레이드오프를 설명합니다.

핵심 포인트

• 보정(Calibration)은 신뢰도를 실제 정확도에 맞추는 과정임
• 에이전트 시스템에서 잘못된 확신은 위험한 행동으로 이어질 수 있음
• 검증기를 통한 계획 단계 검증은 환각 도구 호출을 약 60% 차단 가능
• 추가 검증은 지연 시간 증가와 유용성 감소라는 비용을 발생시킴
• 신뢰도에 따라 자동 실행과 인간 검토를 분리하는 절충안이 필요함