맹목적으로 신뢰하지 마세요: 신뢰할 수 없는 피드백이 도구 사용 LLM 에이전트에 미치는 영향

요약

도구 증강 에이전트가 신뢰할 수 없는 피드백을 받았을 때 발생하는 성능 저하와 가치 역전 현상을 연구합니다. 잘못된 피드백이 에이전트의 성능을 피드백이 없는 상태보다 낮게 만들 수 있음을 실험을 통해 증명했습니다.

핵심 포인트

• 신뢰할 수 없는 피드백은 에이전트의 성능을 급격히 저하시킴
• 잘못된 피드백이 없을 때보다 성능이 낮아지는 가치 역전 현상 발견
• 에이전트 평가 시 '피드백 없음' 상태를 대조군으로 포함해야 함
• 잘못된 증거를 거부하는 능력은 대체 수단의 신뢰도에 의존함