함수 공간을 위한 정규직교 기저 학습

무한 차원 정규직교 기저 전개 (Infinite-dimensional orthonormal basis expansions)는 유리한 선형 대수적 특성 덕분에 함수 공간 (function spaces)을 표현하고 계산하는 데 핵심적인 역할을 합니다. 그러나 Fourier 또는 웨이브릿 (wavelets)과 같은 일반적인 기저들은 고정되어 있어, 주어진 문제나 데이터셋의 구조에 적응하지 못합니다. 본 논문에서 우리는 이러한 기저들을 신경망 (neural networks)으로 표현하고 최적화하는 것을 목표로 합니다. 우리의 핵심 아이디어는 임의의 목표 무한 차원 정규직교 기저가 직교군 (orthogonal group)의 Lie 다양체 (Lie manifold) 상의 한 점으로 간주될 수 있거나, 또는 그와 동등하게 Fourier와 같은 참조 기저 (reference basis)를 해당 목표 기저로 연결하는 다양체 상의 연속적인 경로의 종점으로 간주될 수 있다는 것입니다. Lie 다양체 상의 경로들은 비자기수반 적분 연산자 (skew-adjoint integral operators)에 의해 제어되는 상미분 방정식 (ODEs)을 만족합니다. 신경망을 사용하여 이러한 ODE의 유한 계수 생성자 (finite-rank generators)를 정의함으로써, 함수 공간 내의 정규직교 기저를 매개변수화하고 최적화할 수 있습니다. 무한 연산자를 모델링하기 위해 유한 계수 생성자에 의존하는 것이 제한적으로 보일 수 있지만, 우리는 보편성 결과 (universality result)를 증명합니다. 즉, 계수 2 (rank-2)의 생성자를 사용하더라도, ODE의 적분된 해는 적절한 연산자 위상 (operator topology) 하에서 직교군 내에 조밀 (dense)합니다. 다시 말해, 어떠한 목표 정규직교 기저에 대해서도, 참조 기저에서 시작하여 유한 계수 생성자에 의해 구동되며 해당 목표 기저에 임의로 가까워질 수 있는 경로가 존재합니다. 우리는 Fourier 기저를 함수 데이터셋의 주성분 (principal components), 선형 연산자의 고유함수 (eigenfunctions), 또는 에너지 보존 물리 시뮬레이션의 동적 모드 (dynamic modes)로 변환함으로써 우리 프레임워크의 유연성을 입증합니다.