SOC-ICNN: 선형 계획법에서 이차원뿔 기하학으로 볼록 근사 함수 학습
요약
본 논문은 기존의 ReLU 기반 입력 볼록 신경망(ICNN)이 선형 계획법(LP)에 국한되어 표현력에 한계가 있다는 점을 지적하고, 이를 극복하기 위해 이차원뿔 계획법(SOCP)으로 일반화된 아키텍처인 SOC-ICNN을 제안합니다. SOC-ICNN은 원뿔 기본 요소를 도입하여 함수 근사에 매끄러운 곡률을 추가하면서도 엄밀한 최적화 이론적 해석을 유지하며, 기존 ICNN보다 표현 공간을 확장시키면서도 계산 복잡도를 증가시키지 않음을 증명했습니다.
핵심 포인트
- 기존 ReLU-ICNN은 LP에 국한되어 표현력이 제한되는 병목 현상이 있었습니다.
- SOC-ICNN은 LP를 SOCP로 일반화하여, 원뿔 기본 요소를 통해 매끄러운 곡률을 도입했습니다.
- 제안된 아키텍처는 기존 ICNN의 표현 공간을 엄격하게 확장시키면서도 순방향 통과 복잡도의 점근적 차수를 유지합니다.
- 실험 결과, SOC-ICNN은 함수 근사 성능을 크게 개선하고 하류 의사결정 품질을 향상시켰습니다.
고전적인 ReLU 기반 입력 볼록 신경망 (Input Convex Neural Networks, ICNNs) 은 선형 계획법 (Linear Programming, LP) 의 최적 값 함수와 동등합니다. 이러한 내재적 구조적 동등성은 그들의 표현 능력을 조각별 선형 다면체 함수로 제한합니다. 이 표현력 병목 현상을 극복하기 위해 우리는 LP 를 이차원뿔 계획법 (Second-Order Cone Programming, SOCP) 으로 일반화하는 아키텍처인 SOC-ICNN 을 제안합니다. 양의 반정부호 곡률과 유클리드 노름 기반 원뿔 기본 요소를 명시적으로 주입함으로써, 우리는 표현에 본질적인 매끄러운 곡률을 도입하면서도 엄밀한 최적화 이론적 해석을 유지합니다. 우리는 SOC-ICNN 이 ReLU-ICNN 의 표현 공간을 엄격하게 확장시키면서 순방향 통과 복잡도의 점근적 차수는 증가하지 않음을 공식적으로 증명합니다. 광범위한 실험은 SOC-ICNN 이 함수 근사를 현저히 개선하고 경쟁력 있는 하류 의사결정 품질을 제공함을 보여줍니다. 코드는 https://github.com/Kanyooo/SOC-ICNN 에서 이용 가능합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기