암묵적 미분(Implicit Differentiation) 없이 고정점 신경망 최적 수송 (Fixed-Point Neural Optimal
요약
본 논문은 기존의 적대적 최소-최대 최적화 및 다중 네트워크 구조를 제거하고, 단일 포텐셜을 매개변수화하여 고정점 신경망 최적 수송(Fixed-Point Neural Optimal Transport)을 공식화합니다. 핵심 아이디어는 칸토로비치 쌍대를 근접 고정점 문제로 재구성하는 것이며, 이를 통해 적대적 훈련 대신 근접 최적성 조건을 사용하여 안정적인 단일 네트워크 프레임워크를 구축할 수 있습니다. 특히, 내부 고정점 계산 과정에서도 미분 없이 기울기(gradients)를 계산할 수 있는 장점을 제공합니다.
핵심 포인트
- 고전적인 적대적 최소-최대 최적화 및 다중 네트워크 구조를 제거한 단일 신경망 프레임워크를 제안함.
- 칸토로비치 쌍대를 매개변수화된 단일 포텐셜과 근접 고정점 문제로 재구성하는 것이 핵심 방법론임.
- 쌍대 실현 가능성을 적대적 훈련 대신 근접 최적성 조건으로 안정적으로 강제함.
- 내부 고정점 계산 과정에서도 미분(differentiation) 없이 기울기(gradients)를 계산할 수 있음.
기존 접근 방식에서 흔히 사용되는 적대적 최소-최대 최적화(adversarial min--max optimization)와 다중 네트워크 아키텍처를 제거한 최적 수송의 암묵적 신경망 공식화(implicit neural formulation)를 제안합니다. 우리의 핵심 아이디어는 칸토로비치 쌍대(Kantorovich dual) 내 단일 포텐셜을 매개변수화하고, 관련된 c-변환(c-transform)을 근접 고정점 문제(proximal fixed-point problem)로 재구성하는 것입니다. 이를 통해 쌍대 실현 가능성(dual feasibility)이 적대적 훈련보다는 근접 최적성 조건(proximal optimality conditions)을 통해 정확하게 강제되는 안정적인 단일 네트워크 프레임워크를 얻습니다. 내부 고정점 계산에도 불구하고, 미분 없이 기울기(gradients)를 계산할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기