Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
SeamEdit는 폐쇄형 VLM을 활용하여 대형 이미지의 의미론적 영역을 편집하는 모델 불가지론적 파이프라인을 제안합니다. 타일 기반 편집 시 발생하는 왜곡과 이음새 아티팩트를 해결하기 위해 5단계의 사후 처리 과정을 거칩니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대형 이미지에 대한 의미론적 영역 편집(Semantic region editing)은 높은 생성 품질과 주변 콘텐츠와의 자연스러운 통합이라는 두 가지 요구 사항을 동시에 충족해야 합니다. 일부 관련 방법론들은 화이트박스(white-box) 모델에 의존하며, 폐쇄형 모델(closed-source models)의 강력한 생성 능력을 충분히 활용하지 못하고 있습니다. 그러나 폐쇄형 모델을 타일 기반 편집(tiled editing)에 직접 적용할 경우, 의미론적 왜곡(semantic deformation), 캔버스 수준의 정렬 드리프트(canvas-level alignment drift), 그리고 눈에 보이는 이음새 아티팩트(seam artifacts)와 같은 여러 실패 모드가 발생합니다. 본 논문은 인페인팅(inpainting) 능력을 갖춘 모든 VLM을 블랙박스 오라클(black-box oracle)로 취급하는, 훈련이 필요 없는 모델 불가지론적(model-agnostic) 파이프라인인 SeamEdit를 제안합니다. SeamEdit는 다음과 같은 5단계 사후(post-hoc) 파이프라인을 통해 이러한 문제들을 완화합니다: 오버레이 기반 타일 분해(overlay-based tile decomposition), 블랙박스 VLM 인페인팅(black-box VLM inpainting), 기하학적 및 색상 일관성 교정(geometric and color-consistency correction), 이음새 위험 기반 다중 후보 랭킹(seam-risk-based multi-candidate ranking), 그리고 동적 계획법 기반 곡선 이음새 융합(dynamic-programming curved seam fusion). 이 파이프라인은 이음새의 가시성을 줄이고 임의의 타일 영역에 대한 의미론적 수정을 지원합니다.