SlopBench: 언어 모델의 반복적 글쓰기(AI Slop) 순위화는 얼마나 잘 할 수 있는가? 다중 도메인 벤치마크

요약

SlopBench는 AI가 생성하는 경직되고 반복적인 산문(AI Slop)을 평가하기 위해 개발된 다중 도메인 벤치마크입니다. 이 벤치마크는 이메일, 소셜 게시물 등 112개 과제에서 여러 모델의 출력을 샘플링하여 네 가지 표면적 행동을 점수화합니다. 연구 결과, 특정 모델이 모든 상황에서 일관되게 우위를 점하는 순위는 확인되지 않았습니다.

핵심 포인트

• SlopBench는 AI Slop 탐지를 위한 112개 과제 기반의 다중 도메인 벤치마크입니다.
• 모델별로 네 가지 표면적 행동(길이, 반복성 등)을 점수화하여 평가합니다.
• 단일 가중치나 여러 검사에서도 모델 간 일관된 순위는 확인되지 않았습니다.
• 연구의 투명성을 위해 프롬프트, 출력물, 채점 코드를 모두 공개했습니다.