회전에 따른 유사도 기반 위치 인코딩(Similarity-based Positional Encoding)의 강건성: 이론적 분석 및 실험적 검증

위치 인코딩(Positional encoding)은 입력의 공간적 또는 순차적 배열에 대한 정보를 주입하기 때문에 Transformer 아키텍처의 핵심적인 구성 요소입니다. 표준적인 절대적(absolute) 및 사인파(sinusoidal) 인코딩에 대한 최근의 대안들 중, 유사도 기반 위치 인코딩 (similarity-based positional encoding, simPE)은 쌍별 관계(pairwise relations)를 통해 위치 구조를 표현하는 유연한 프레임워크로 등장했습니다. simPE는 원래 기하학적 강건성(geometric robustness)이 특히 중요한 의료 영상 애플리케이션을 위해 설계되었습니다. 영상 획득 과정에서 영상 장비, 환자의 자세, 또는 미세한 획득 정렬 불량으로 인해 작은 회전이 자연스럽게 발생하기 때문입니다. 이러한 경험적 유망함에도 불구하고, 기하학적 섭동(geometric perturbations) 하에서의 simPE의 이론적 동작은 아직 완전히 규명되지 않았습니다. 본 논문에서는 정식 이론적 분석과 실험적 검증을 결합하여 회전에 대한 simPE의 강건성을 연구합니다. 먼저 우리는 simPE가 일반적으로 회전 불변(rotation-invariant)이 아님을 보여줍니다. 그다음, 기본 구성 요소에 대한 완만한 립시츠(Lipschitz) 가정 하에서 simPE가 회전 섭동에 대해 안정적임을 증명하고, 프로베니우스 노름(Frobenius norm)에서의 명시적인 섭동 경계(perturbation bounds)를 도출합니다. 우리는 네 가지 통제된 데이터셋—합성 Arrow 데이터셋, 합성 Shapes 데이터셋(4가지 기하학적 모양 카테고리), 합성 Digits 데이터셋, 그리고 벤치마크 이미지 분류 데이터셋(FashionMNIST)—을 통해 이러한 발견을 실험적으로 검증합니다. 이 실험에서는 훈련 및 검증 이미지는 고정된 정준 방향(canonical orientation)을 유지하는 반면, 테스트 이미지는 점진적으로 증가하는 회전 각도에 노출됩니다. 모든 데이터셋에 걸쳐, simPE는 회전 상황에서 정확도(accuracy), F1 스코어(F1 score), 정밀도(precision), 재현율(recall) 측면에서 표준 학습된 위치 인코딩(learned positional encoding)보다 일관되게 우수한 성능을 보였으며, 특히 작은 각도에서 중간 정도의 각도 범위에서 이론적 안정성 보장을 뒷받침했습니다.