Meta-CoT: 이미지 편집의 정교함과 일반화 능력 향상

요약

본 논문은 이미지 편집의 정교한 이해와 일반화 능력을 동시에 향상시키는 새로운 프레임워크인 Meta-CoT를 제안합니다. Meta-CoT는 단일 편집 작업을 '편집 작업', '타겟', '필요 이해 능력'이라는 세 가지 요소로 분해하는 패러다임을 사용하며, 이를 통해 모델의 작업 특이적 이해도를 높입니다. 또한, 이 프레임워크는 편집 작업을 다섯 가지 기본 메타 작업으로 추가 분해하여 소수의 훈련만으로도 다양한 미지의 편집 작업에 강력하게 일반화되는 능력을 입증했습니다.

핵심 포인트

• Meta-CoT는 이미지 편집을 '작업', '타겟', '필요 이해 능력'의 세 요소로 분해하여 모델의 이해 정교함을 높입니다.
• 편집 작업을 다섯 가지 기본 메타 작업으로 추가 분해함으로써 강력한 일반화 능력을 달성합니다.
• CoT-Editing Consistency Reward를 도입하여 CoT 추론 정보가 편집 과정에 정확하고 효과적으로 활용되도록 유도했습니다.
• 실험 결과, Meta-CoT는 21가지 편집 작업에서 평균 15.8%의 성능 향상을 보였으며, 소수 메타 작업으로 미지 작업에도 잘 일반화되었습니다.