LLM 리서치 에이전트에 의한 주장 평활화(Claim Smoothing) 정량화

요약

본 연구는 LLM이 방대한 자료를 종합하는 과정에서 근거의 불확실성을 무시하고 과도하게 자신감 있는 결론을 내리는 '평활화(smoothing)' 현상을 발견했습니다. 이를 정량적으로 측정하기 위해 주장 추출, 증거 클러스터링 등을 포함하는 SmoothScore 파이프라인을 도입했습니다. 실험 결과, LLM 에이전트들이 항상 제시된 근거보다 더 강력한 주장을 생성하는 경향이 있음이 확인되었습니다.

핵심 포인트

• LLM은 출처의 증거적 '들쭉날쭉함'을 무시하고 결론을 평활화합니다.
• SmoothScore는 LLM 에이전트의 주장 평활화 정도를 정량적으로 측정하는 방법입니다.
• 연구 결과, 에이전트는 근거가 뒷받침할 수 있는 수준보다 더 강력한 주장을 합니다.