다중 신경 연산자(Multiple Neural Operators)가 다중 작업 학습(Multi-Task Learning)에서 최적에 가까운

원문 발행 2026. 05. 22. 01:57원문 언어 영어AI 한국어 번역arXiv cs.LG (Machine Learning) 원문 보기

요약

Multiple Neural Operators(MNO) 아키텍처의 다중 작업 학습(Multi-Task Learning) 시 근사 및 통계적 복잡도를 연구한 논문입니다. MNO가 단일 연산자 학습과 동일한 스케일링 법칙을 따르며, 공유된 표현이 비용을 증가시키지 않음을 증명했습니다.

핵심 포인트

MNO의 근사 및 통계적 일반화에 대한 최적 상한 도출
매개변수 복잡도의 저주 및 미니맥스 속도 증명
다중 작업 학습이 단일 연산자 학습과 동일한 스케일링 법칙을 따름을 확인
DeepONet의 다중 작업 확장 버전과 점근적 속도가 동일함을 입증

우리는 Multiple Neural Operators (MNO) 아키텍처에 초점을 맞추어, 공유된 다중 작업(multi-task) 설정에서 연산자 집합을 학습하는 데 필요한 근사(approximation) 및 통계적 복잡도(statistical complexity)를 연구합니다. 광범위한 Lipschitz 다중 연산자 맵(Lipschitz multiple operator maps) 클래스에 대해, 우리는 근사 및 통계적 일반화(statistical generalization)에 대한 최적에 가까운 상한(upper bounds)을 도출합니다. 하한(lower-bound) 측면에서는, 매개변수 복잡도의 저주(curse of parametric complexity)를 확립하고 그에 상응하는 미니맥스 속도(minimax rates)를 증명합니다. 이러한 결과들을 종합하면, 작업 간의 공유된 표현(shared representations)이 전체 비용을 증가시키지 않음을 보여줍니다. 즉, 다중 작업 연산자 학습(multi-task operator learning)은 단일 연산자 학습(single operator learning)과 동일한 스케일링 법칙(scaling laws)을 따릅니다. 또한 우리는 MNO를 작업 입력(task inputs)을 연결(concatenated)하는 방식에 기반한 DeepONet의 다중 작업 확장 버전과 비교하며, 최악의 경우 근사-복잡도(worst-case approximation-complexity) 관점에서 두 아키텍처 모두 본질적으로 동일한 점근적 속도(asymptotic rates)를 만족함을 보여줍니다.

AI 자동 생성 콘텐츠

원문 바로가기

다중 신경 연산자(Multiple Neural Operators)가 다중 작업 학습(Multi-Task Learning)에서 최적에 가까운

요약

핵심 포인트

댓글