베이지안 텐서 네트워크 커널 머신을 위한 라플라스 근사
요약
본 논문은 불확실성 추정의 중요성을 강조하며, 확장 가능한 텐서 네트워크 커널 머신(TNKM)이 원칙적인 불확실성 정량을 제공하는 방법에 대한 문제를 제기합니다. 이를 해결하기 위해 연구진은 베이지안 추론에 선형화된 라플라스 근사(Laplace approximation)를 적용한 새로운 모델, LA-TNKM을 제안했습니다. 실험 결과, 이 방법은 다양한 벤치마크에서 기존의 가우시안 프로세스나 베이지안 신경망과 비교하여 우수한 성능과 실용적 관련성을 입증했습니다.
핵심 포인트
- 불확실성 추정은 모호하거나 분포 밖 입력이 있는 환경에서 필수적인 견고한 의사결정을 위해 중요합니다.
- 텐서 네트워크 커널 머신(TNKM)은 확장 가능한 가중치 공간 학습을 가능하게 하지만, 표준 확률론적 불확실성 추론에 어려움이 있습니다.
- 연구진은 베이지안 추론을 구현하기 위해 선형화된 라플라스 근사(Laplace approximation)를 활용한 LA-TNKM을 제안했습니다.
- 제안된 LA-TNKM은 다양한 UCI 회귀 벤치마크에서 GP 및 BNN과 비교하여 효과적이고 실용적인 성능을 보여주었습니다.
불확실성 추정은 모호하거나 분포 밖 (out-of-distribution) 입력이 존재하는 환경에서 견고한 의사결정을 위해 필수적입니다. 가우시안 프로세스 (GPs) 는 원칙적인 불확실성 정량화를 제공하며 소규모에서 중규모 데이터셋에서 우수한 성능을 보이는 고전적인 커널 기반 모델입니다. 대안적으로 텐서 네트워크 가정 하에 가중치 공간 학습 문제를 공식화하면 확장 가능한 텐서 네트워크 커널 머신을 얻을 수 있습니다. 그러나 이러한 가정은 가우시안성을 깨뜨려 표준 확률론적 추론을 복잡하게 만듭니다. 이는 다음과 같은 근본적인 질문을 제기합니다: 텐서 네트워크 커널 머신이 어떻게 원칙적인 불확실성 추정을 제공할 수 있는가? 우리는 베이지안 추론을 위해 (선형화된) 라플라스 근사를 사용하는 새로운 베이지안 텐서 네트워크 커널 머신 (LA-TNKM) 을 제안합니다. 포괄적인 수치 실험 결과, 제안된 방법은 다양한 UCI 회귀 벤치마크에서 가우시안 프로세스와 베이지안 신경망 (BNNs) 과 일관되게 일치하거나 그 성능을 능가하여 효과성과 실용적 관련성을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기