LLM 에이전트의 충실한 불확실성: 실제 적용 시 보정(Calibration)과 유용성(Utility) 사이의 트레이드오프

환각(Hallucination) 감소를 위한 메타인지(Metacognition)에 관한 Google의 논문은 벤치마크에서 과소평가되는 차이점을 구분합니다. 보정(Calibration)은 더 자주 정답을 맞히는 것에 관한 것이 아닙니다. 그것은 신뢰도(Confidence)를 정확성(Correctness)에 맞추는 것에 관한 것입니다. 완벽하게 보정된 모델은 여전히 25%의 확률로 틀릴 수 있습니다. 다만 그렇지 않은 척하지 않을 뿐입니다. 에이전트 시스템에서 이러한 구분은 채팅보다 더 중요합니다. 대화형 모델이 확신을 피하는 답변을 하는 것은 약간 짜증스러운 정도지만, 도구 접근 권한이 있는 에이전트가 잘못된 전제를 바탕으로 자신 있게 행동하는 것은 위험합니다.

저는 태스크 그래프(Task graph)를 생성하는 계획 단계(Planning stage)로 파이프라인을 나누고, 비용이 많이 드는 도구가 호출되기 전에 검증기(Verifier)를 실행하는 작은 Verdant 기반 코딩 설정에서 이를 시도해 왔습니다. 위험 요소는 모델이 추측성 단계에서도 자신의 추론을 신뢰한다는 점입니다. 그라운딩(Grounding)이 도움이 되지만, 그것이 보정(Calibration)과 동일한 것은 아닙니다. 한 가지 실용적인 패턴은 계획 단계에서 태스크 그래프를 생성한 다음, 경량 검증기가 계획이 가용한 증거와 일치하는지 확인하는 것입니다. 제 설정에서는 이를 통해 환각이 발생한 도구 호출의 약 60%를 실행 전에 잡아냅니다.

단점은 유용성 세금(Utility tax)입니다. 추가적인 검증은 지연 시간(Latency)을 늘립니다. 환각을 25%에서 5%로 줄이는 것은 논문에서 언급된 것처럼 쉬운 정답의 약 절반을 포기하는 비용이 듭니다. 저의 현재 절충안은 계획 계층(Planning layer)이 신뢰도가 낮은 작업에 대해 인간의 검토를 위해 플래그를 표시하되, 신뢰도가 높은 작업은 자동으로 실행하도록 하는 것입니다. 이렇게 하면 검토자는 모든 단계에 빠져 허우적거리는 대신 엣지 케이스(Edge cases)만 보게 됩니다. 어색한 부분은 대부분의 에이전트 스택이 여전히 신뢰도를 제어 표면(Control surface)이 아닌 로그 세부 정보로 취급한다는 점입니다.