Newton-Schulz를 이용한 Stiefel 다양체에서의 2차 방법

요약

본 논문은 스티펠 다양체(Stiefel manifold) 위에서 리만 다양체 방법 대신 사용할 수 있는 2차 수렴의 비리트랙션(retraction-free) 최적화 방법을 제안합니다. 이 방법은 목적 함수를 줄이는 접선 성분과, 제약 조건 위로 돌아오게 하는 법선 성분의 합으로 업데이트됩니다. 특히, 법선 성분을 계산하기 위해 직교화를 위한 고정점 반복인 뉴턴-슐츠(Newton-Schulz) 방법을 사용하며, 이를 통해 기존 방법들보다 우수한 성능을 보였습니다.

핵심 포인트

• 스티펠 다양체 최적화에 대한 새로운 2차 수렴 비리트랙션 접근법을 제시함.
• 업데이트 과정은 목적 함수 감소를 위한 접선 성분과, 제약 조건 위로의 복귀를 위한 법선 성분의 조합으로 구성됨.
• 직교화를 수행하는 법선 성분 계산에 뉴턴-슐츠(Newton-Schulz) 고정점 반복을 활용함.
• 제안된 방법은 직교 프로크루스테스 문제, 주성분 분석 등 여러 실제 데이터 문제에서 기존 방법들보다 우수한 성능을 입증함.