함수적 어텐션 (Functional Attention): 쌍별 친밀도에서 함수적 대응 관계로

무한 차원 함수 공간 (infinite-dimensional function spaces) 사이의 매핑을 학습하는 것, 즉 연산자 학습 (operator learning)은 많은 머신러닝 (machine learning) 응용 분야에서 필수적입니다. Transformer 기반의 연산자 (operators)들이 대중적이지만, 이들은 종종 토큰 단위 어텐션 (token-wise attention)에 의존합니다. 이러한 방법들은 연속적인 필드 (continuous fields)를 이산적인 토큰 (discrete tokens)으로 취급하며, 대개 전역적인 함수 구조 (global functional structure)를 무시합니다. 우리는 어텐션을 적응형 기저 (adaptive bases) 사이의 함수적 대응 (functional correspondence)으로 재해석하는 extit{Functional Attention}을 소개합니다. 기하학적 함수 맵 (geometric functional maps)에서 영감을 얻은 우리의 방법은 Softmax 친밀도 (softmax affinities)를 구조화된 선형 연산자 (structured linear operators)로 대체합니다. 이를 통해 전역적 의존성 (global dependencies)을 명시적으로 포착하면서도, 압축적이고 일반화 가능하며 해상도 불변적인 (resolution-invariant) 표현을 생성합니다. 실험을 통해 extit{Functional Attention}이 편미분 방정식 (PDEs) 풀이, 3D 세그멘테이션 (3D segmentation), 회귀 (regression)를 포함한 많은 연산자 학습 태스크에서 최첨단 (state-of-the-art) 성능에 필적할 수 있음을 입증하였으며, 동시에 다양한 이산화 (discretizations) 방식에 대해서도 강건함을 유지함을 보여줍니다. 프로젝트 페이지는 https://github.com/xjffff/FUNCATTN 에서 확인할 수 있습니다.