IConFace: 정체성 - 구조 비대칭 조건화를 통한 통합 참조 인식 얼굴 복원
요약
IConFace는 '정체성-구조 비대칭 조건화(Identity-Structure Asymmetric Conditioning)'를 활용하여 맹면 얼굴 복원을 위한 통합 참조 인식 및 무 참조 프레임워크입니다. 이 모델은 참조 이미지를 정제된 노름 가중치 전역 AdaFace 정체성 앵커로 사용하고, 왜곡된 입력 이미지의 공간 구조는 저랭크 잔류와 블록별 왜곡 크로스 어텐션을 통해 강화합니다. 이를 통해 참조가 있을 때는 강력한 정체성 일관성을 유지하며 복원하고, 참조가 없을 때는 무참조(unconditional) 방식으로 안정적으로 작동하여 전반적인 복원 품질을 향상시킵니다.
핵심 포인트
- IConFace는 통합 참조 인식 및 무 참조 얼굴 복원 프레임워크를 제공합니다.
- 핵심 기술은 '정체성-구조 비대칭 조건화'로, 정체성은 참조에서, 구조 정보는 왜곡된 입력에서 추출됩니다.
- 참조 이미지는 AdaFace 기반의 노름 가중치 전역 정체성 앵커로 활용되어 정체성 일관성을 극대화합니다.
- 왜곡된 이미지의 공간 구조는 저랭크 잔류 및 블록별 왜곡 크로스 어텐션을 통해 강화됩니다.
- 단일 체크포인트 모델이 참조 유무에 따라 적절히 전환(fallback)하여 안정적인 복원 성능을 보장합니다.
맹면 얼굴 복원은 심각한 왜곡 하에서 매우 역설적이며, 정체성 결정적인 세부사항이 왜곡된 입력에서 누락될 수 있습니다. 동일 정체성 참조는 이러한 모호성을 줄이지만, 매칭되지 않은 자세, 표정, 조명, 나이, 메이크업 또는 지역 얼굴 상태는 참조 외모의 과도한 사용을 초래할 수 있습니다. 우리는 extbf{IConFace}를 제안합니다. 이는 통합 참조 인식 및 무 참조 프레임워크이며 정체성 - 구조 비대칭 조건화를 사용합니다. 참조는 이미지 전용 변조를 위한 노름 가중치 전역 AdaFace 정체성 앵커로 정제되며, 왜곡된 이미지는 저랭크 잔류와 블록별 왜곡 크로스 어텐션으로 공간 구조 앵커로 강화됩니다. 생성된 단일 체크포인트는 참조가 이용 가능할 때 참조를 활용하고 참조가 없을 때는 무 참조 복원에 fallback 합니다. 이는 통합 모델에서 정체성 일관성, 세부 사항 복구, 및 왜곡 전용 복원 품질을 개선합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기