AtelierEval: 텍스트-이미지 프롬프트 작성자로서의 인간 및 LLM에 대한 에이전트 기반 평가

텍스트-이미지 (Text-to-image, T2I) 시스템은 사용자의 의도를 상세한 프롬프트로 변환하기 위해 인간 또는 멀티모달 거대 언어 모델 (Multimodal Large Language Models, MLLMs)과 같은 상위 프롬프트 작성자 (Prompters)에게 점점 더 의존하고 있습니다. 그러나 현재의 벤치마크는 프롬프트를 고정하고 T2I 모델만을 평가하며, 이 상위 구성 요소의 프롬프트 작성 숙련도는 전혀 측정하지 못하고 있습니다. 우리는 360개의 전문가 제작 태스크를 통해 프롬프트 작성 숙련도를 정량화하는 최초의 통합 벤치마크인 AtelierEval을 소개합니다. 인지적 관점에 기반한 이 벤치마크는 세 가지 태스크 범주를 포괄하며, 실제 세계의 도전 과제 분류 체계를 사용하여 태스크를 구체화하고, 인간과 MLLM 모두를 위한 이중 인터페이스를 제공합니다. 확장 가능하고 신뢰할 수 있는 평가를 가능하게 하기 위해, 우리는 기술 기반의 메모리 증강 에이전트 평가자인 AtelierJudge를 제안합니다. 이는 프롬프트-이미지 쌍에 대해 주관적 및 객관적 점수를 생성하며, 인간 전문가와 0.79의 Spearman 상관관계를 달성하여 인간의 성능에 근접합니다. 광범위한 실험을 통해 4개의 T2I 백엔드에서 8개의 MLLM을 48명의 인간 사용자와 비교 벤치마킹하였으며, AtelierEval이 강력한 진단 도구임을 검증하고, 계획 (Planning)보다 모방 (Mimicry)이 우월함을 밝혀내어 향후 프롬프트 작성자를 위한 이미지 증강 (Image-augmented) 방향을 옹호합니다. 우리의 연구는 향후 연구를 지원하기 위해 공개되었습니다.