정확하지만 겸손하지는 않은: 지식적 겸손함(Epistemic Humility)을 갖춘 LLM 에이전트 평가

요약

본 연구는 LLM 에이전트가 증거와 기존 믿음이 충돌하는 상황에서 어떻게 행동하는지 분석하며, '지식적 겸손함(Epistemic Humility)'을 평가할 것을 제안합니다. 이 능력은 불확실성을 인식하고 이를 전달하려는 의지를 의미하며, 식별, 해결, 확대의 세 가지 궤적으로 운영화됩니다. 연구 결과, 높은 작업 정확도가 반드시 지식적 겸손함을 보장하지 않으며, 모델 개입이 EH를 개선할 수 있으나 정확도 희생을 초래할 수 있음을 밝혀냈습니다.

핵심 포인트

• 에이전트의 충돌 상황 처리 능력(지식적 겸손함) 평가가 필요합니다.
• 높은 작업 정확도가 반드시 지식적 겸손함을 의미하지는 않습니다.
• 충돌 감지는 초기 단계에서 자주 일어나지만, 후반 단계 유지/해결은 어렵습니다.
• EH 개선을 위한 모델 개입은 종종 작업 정확도의 희생을 가져옵니다.