ScribbleEdit: 스크리블 기반 이미지 편집을 위한 벤치마크

스크리블(scribble) 기반 상호작용은 사용자가 인터랙티브 편집 도구에서 이미지 편집 의도(editing intents)를 지정하는 가볍고 직관적인 방법을 제공합니다. 하지만 현재 VLM이나 LLM에 기반한 이미지 편집 모델들은 스크리블 입력만을 기반으로 편집을 이해하고 실행하는 데 어려움을 겪습니다. 이 문제를 체계적으로 연구하기 위해, 우리는 이미지 편집 모델이 스크리블 조건부(conditioned on scribbles)로 이미지 편집을 수행하는 능력을 평가하는 새로운 벤치마크인 ScribbleEdit을 구축했습니다. 이 작업은 스크리블의 의도에 대한 깊은 이해와 그 공간 정보에 대한 정확한 해석을 모두 요구합니다. ScribbleEdit에서, 우리는 자동화된 데이터 구축 파이프라인을 설계하고 의도 정렬(intention alignment)을 명시적으로 측정하는 전용 평가 프로토콜을 도입했습니다. 우리의 분석 결과는 기존 VLM/LLM 기반 편집 모델들이 스크리블의 의도를 정확하게 포착하지 못한다는 것을 보여줍니다. 스크리블 전용 이미지 편집에 대한 향후 발전을 안내하기 위해, 우리는 모델이 스크리블 의미론(scribble semantics)을 이해하도록 향상시키고 우리의 벤치마크에서 표준 이미지 편집 모델보다 성능이 우수한 간단하지만 효과적인 소프트 토큰(soft-token) 기반의 기준선(baseline)을 제안합니다. 우리의 평가와 기준선은 스크리블 구동(scribble-driven) 이미지 편집을 평가하고 개선하기 위한 구체적인 기반을 제공합니다.