PLGSA-Transformer: 교차 모달 마스크 착용 및 미착용 얼굴 인식을 위한 폐안부 랜드마크 유도 어텐션 및 폐쇄 적응형 코사인
요약
마스크 착용 시 발생하는 얼굴 가림 문제를 해결하기 위해 PLGSA-Transformer 프레임워크를 제안합니다. 폐안부 랜드마크 기반의 공간 어텐션과 폐쇄 적응형 코사인 임계값을 통해 높은 인식 정확도를 달성했습니다.
핵심 포인트
- MediaPipe를 활용한 폐안부 랜드마크 유도 공간 어텐션 도입
- CNN과 Transformer를 결합한 하이브리드 브랜치로 영역 간 의존성 모델링
- 폐쇄 심각도에 따라 매칭 임계값을 조절하는 OACT 기술 적용
- 기존 모델 대비 높은 97.22%의 쌍 검증 정확도 달성
COVID-19로 인해 가속화되고 보안 민감 환경에서 의무화된 안면 마스크의 광범위한 사용은 기존 얼굴 인식 시스템의 한계를 드러냈습니다. 고정된 코사인 임계값(cosine thresholds), 비적응형 CNN, 그리고 순수하게 데이터 중심적인 특징(data-driven features)에 의존하는 기존 방식들은 얼굴 영역이 가려질(occluded) 때 일반화에 실패하며, 이는 실험실 성능과 실제 현장 배치 가능성 사이의 격차를 발생시킵니다. 본 논문은 세 가지 기여를 포함하는 교차 모달(cross-modal) 얼굴 매칭 프레임워크인 PLGSA-Transformer를 제안합니다. 첫째, 폐안부 랜드마크 유도 공간 어텐션 (Periocular Landmark-Guided Spatial Attention, PLGSA)은 MediaPipe 랜드마크를 사용하여 눈, 눈썹, 이마 영역에 대한 가우시안 히트맵(Gaussian heatmaps)을 계산하고, 이를 학습 가능한 잔차 게이트(residual gate)를 통해 EfficientNetB3 특징과 융합하여 변별력 있는 가시 영역으로 어텐션을 유도합니다. 둘째, 하이브리드 CNN-Transformer 브랜치(Hybrid CNN-Transformer Branch)는 특징 맵(feature maps)을 토큰(tokens)으로 재구성하여 2층 Multi-Head Self-Attention 인코더로 처리함으로써 교차 영역 의존성 모델링(cross-regional dependency modelling)을 가능하게 합니다. 셋째, 폐쇄 적응형 코사인 임계값 (Occlusion-Adaptive Cosine Threshold, OACT)은 예측된 폐쇄 심각도에 비례하여 매칭 임계값을 높이는 공동 학습된 헤드(head)입니다. 모델은 Zenodo MDMFR (60%), Kaggle CelebA-HQ 마스크 수집 데이터셋 (25%), 그리고 저자가 수집한 이미지 (15%)에서 추출한 858장의 이미지를 통해 평가되었으며, 다양한 마스크 유형을 포함하여 성별과 연령(21-75세)을 포괄합니다. 모델은 대조 검증(contrastive verification), 신원 분류(identity classification), 그리고 폐쇄 교차 엔트로피(occlusion cross-entropy)를 결합한 통합 손실 함수를 통해 학습되었습니다. PLGSA-Transformer는 97.22%의 쌍 검증 정확도(pair verification accuracy)와 ROC AUC 1.0000을 달성하였으며, 이는 VGG-16 기반의 MUFM (Abdullah et al., 2025; 95.0%), HOG 분류기 (Adnan et al., 2020; 85.0%), 그리고 특징 기반 구조적 측정 (Feature-based Structural Measure; Shnain et al., 2017; 86.61%)을 능가하는 수치입니다. 이러한 결과는 Transformer 모델링과 폐쇄 적응형 임계값을 사용하여 폐안부 기하학(periocular geometry)을 어텐션에 인코딩하는 것이 교차 모달 마스크 착용 얼굴 인식(cross-modal masked face recognition)을 위한 강력하고 확장 가능한 솔루션을 제공함을 확인시켜 줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기