최상위 LLM들은 중재에 취약하다

요약

SoCRATES는 8가지 갈등 영역에서 LLM의 선제적 중재 능력을 평가하는 도구입니다. 연구 결과, 최상위 모델들도 전문가와 비교했을 때 합의 격차의 약 1/3만을 해결하는 한계를 보였습니다.

핵심 포인트

• SoCRATES 평가 도구는 전문가와 0.82의 높은 일치도를 보임
• 최상위 LLM들도 갈등 중재 능력에는 여전히 한계가 있음
• 모델들이 합의 격차의 약 1/3만을 메울 수 있음을 확인