오픈소스 이미지 편집 모델은 제로샷 비전 학습자입니다

요약

본 연구는 세 가지 오픈소스 이미지 편집 모델(Qwen-Image-Edit, FireRed-Image-Edit, LongCat-Image-Edit)을 사용하여 파인튜닝 없이도 제로샷 비전 예측 능력을 체계적으로 평가했습니다. 단안 깊이 추정, 표면 법선 추정, 의미론적 분할 등 다양한 기하학적 및 의미론적 임무에서 이 모델들이 우수한 성능을 보였습니다. 특히 FireRed-Image-Edit는 표면 법선 추정에서 기존 SOTA 모델을 능가했으며, Qwen-Image-Edit와 LongCat-Image-Edit 역시 깊이 추정 및 분할 작업에서 강력한 제로샷 성능을 입증했습니다.

핵심 포인트

• 오픈소스 이미지 편집 모델들이 별도의 파인튜닝 없이도 뛰어난 제로샷 비전 이해 능력을 갖추고 있음이 확인되었습니다.
• FireRed-Image-Edit는 표면 법선 추정에서 기존 최고 성능(SOTA) 모델을 능가하는 결과를 보여주었습니다.
• Qwen-Image-Edit와 LongCat-Image-Edit는 깊이 및 의미론적 분할과 같은 복잡한 시각 예측 임무에서 강력한 제로샷 기준선을 제시했습니다.
• 연구 결과, 이러한 비자극적인(non-stimulus) 제로샷 시각 이해 능력이 이미지 편집 사전 훈련 과정에서 나타나는 '창발 속성(emergent property)'일 가능성을 탐구할 수 있습니다.