선형 동적 시스템 (LDS)의 온라인 학습을 위한 메모리 효율적인 통합 알고리즘
요약
선형 동적 시스템(LDS)의 온라인 예측을 위해 메모리 효율적인 통합 알고리즘을 제안합니다. 시스템의 불안정성 복잡도(k)에 따라 파라미터 수를 $\widetilde{O}(k)$로 유지하며 서선형 후회를 달성합니다. 실험을 통해 고차원 시스템에서 기존 방식보다 뛰어난 성능을 입증했습니다.
핵심 포인트
- 불안정성 복잡도(k)에 적응하는 메모리 효율적 알고리즘 제안
- 비대각화 가능 시스템을 포함한 모든 LDS에 적용 가능
- 학습 파라미터 수를 $\widetilde{O}(k)$로 최적화하여 메모리 절약
- 필터 기반 예측기에 필요한 최소 필터 개수가 k임을 증명
- 고차원 시스템에서 기존 방법론 대비 우수한 성능 확인
관측을 통해 일반적인 미지의 선형 동적 시스템 (Linear Dynamical Systems, LDS)을 안정화해야 하는 과제에 착안하여, 우리는 온라인 예측 (Online Prediction)의 자연스러운 전제 조건을 연구합니다. 우리의 목표는 전체 은닉 상태 (Hidden-state) 차원이 아닌, 동역학의 내재적 복잡성에 적응하는 메모리 사용량 (Memory footprint)을 유지하면서 서선형 후회 (Sublinear regret)를 달성하는 것입니다. 우리는 실질적으로 중심이 되는 영역인 '낮은 불안정성 복잡도 (Low instability complexity)'를 가진 시스템에 집중합니다. 여기서 불안정성 복잡도란, 실수 안정 구간 밖에 위치하여 빠르게 감쇠하지 않는 고윳값 (Eigenvalues)과, 훨씬 더 높은 차원의 다른 안정적인 실수 스펙트럼에 잠재적으로 포함되어 있을 수 있는 비반단순 모드 (Non-semisimple modes)를 의미하며, 우리는 이 개수를 $k$로 표기합니다. 이 영역은 안정화가 가능한 주요 설정입니다. 우리는 불안정성 복잡도가 높은 많은 시스템이 지수적으로 큰 제어 (Controls) 없이는 안정화될 수 없음을 보여줍니다. 따라서 예측은 불안정성 복잡도가 작을 때 정확히 안정화를 위해 의미를 갖습니다. 이 영역 내에서, 우리는 복소수 모드 또는 폭발하는 모드를 가진 비대각화 가능 시스템 (Non-diagonalizable systems)을 포함하여 모든 LDS를 $\widetilde{O}(k)$의 학습 가능한 파라미터 수로 처리하는 통합 온라인 알고리즘을 소개합니다. 마지막으로, 우리는 $k$가 유효한 복잡도 척도임을 보여주는 하한 (Lower bound)을 증명합니다: 즉, 어떠한 필터 기반 예측기 (Filter-based predictor)라도 최소 $k$개의 필터가 필요합니다. 실험은 우리의 이론을 뒷받침합니다: 고차원 시스템에서 우리의 예측기는 동일한 파라미터 예산 하에서 기존 방법들을 압도적으로 능가합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기