Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 텍스트-이미지 개인화 모델에서 미세한 정체성 튜닝 방법을 제안합니다. 기존 방법들이 부족했던 얼굴 편집의 정밀도를 높여, 특정 정체성의 잠재적 표현을 수정함으로써 일관된 이미지를 생성할 수 있게 합니다. 이 접근 방식은 추가 학습 없이 고정된 인코더의 잠재 공간을 탐색하여 의미 있는 방향을 발견하는 것이 핵심입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기한 사람의 얼굴을 생성하고 편집하는 것은 높은 정밀도를 요구합니다. 사소한 수정조차도 대상이 인식되는 정체성을 크게 바꿀 수 있기 때문입니다. 그러나 현재 범용적인 텍스트-이미지 모델에 기반한 개인화 및 편집 방법들은 미세한(fine-grained) 얼굴 편집에 필요한 정밀도가 부족한 경우가 많습니다. 본 논문에서는 텍스트-이미지 개인화 모델에서 미세한 정체성 튜닝을 위한 방법을 제안합니다. 주어진 이미지를 대상으로 작동하는 표준 이미지 편집과 달리, 정체성 튜닝은 특정 정체성의 잠재적 표현(latent representation)을 수정하여, 동일하게 편집된 정체성을 일관되게 묘사하는 다양한 이미지를 생성할 수 있게 합니다. 미세한 잠재적 정체성 튜닝을 가능하게 하기 위해, 우리는 텍스트-이미지 개인화를 위한 사전 학습되고 고정된(frozen) 인코더의 잠재 공간을 탐색합니다. 저희 접근 방식은 추가적인 훈련이 필요하지 않습니다. 대신, 이는 잠재적 의미 방향(latent semantic directions)을 발견하기 위해 고정된 인코더의 기존 아키텍처를 활용합니다. 이 공간은 정체성의 여러 측면을 포착하는 데 각기 다른 역할을 수행하며 종종 특정 공간적 또는 의미적 얼굴 영역에 해당하는 잠재적 토큰들의 집합으로 구성됩니다. 우리는 이 공간과 선택된 토큰들로 정의된 부분 공간 내에서 의미 있는 방향들을 식별할 수 있음을 보여주며, 이를 통해 국소적이고(localized), 미세하며, 의미적으로 일관성 있는 편집이 가능하게 합니다. 본 접근 방식은 다양한 국소적 얼굴 편집을 수행하는 동시에 이미지 간 정체성 일관성을 보존함을 입증하는 질적 및 양적 실험을 통해 검증되었습니다. 프로젝트 페이지: https://garibida.github.io/IdentityTuning/