국소 충실도 규제화(Local Fidelity Regularization)를 이용한 메조모픽 신경망(Mesomorphic Neural
요약
해석 가능한 메조모픽 신경망(IMN)의 신뢰성을 높이기 위해 국소 충실도 규제화(LFR)를 제안합니다. LFR은 가중치 붕괴 문제를 해결하여 예측 성능을 유지하면서도 신뢰할 수 있는 해석을 제공합니다.
핵심 포인트
- 기존 IMN의 가중치 붕괴 및 무의미한 해석 문제 해결
- 국소 데이터 변동과 선형 가중치를 정렬하는 LFR 도입
- OpenML 벤치마크에서 정확도와 설명 가능성 동시 확보
- 블랙박스 모델과 경쟁 가능한 수준의 예측 성능 입증
해석 가능한 메조모픽 신경망 (Interpretable Mesomorphic Neural Networks, IMNs)은 심층 신경망 (Deep Neural Networks)의 예측 능력과 선형 모델 (Linear Models)의 해석 가능성을 결합하는 유망한 프레임워크를 제공합니다. 그러나 기존의 공식화는 학습된 해석이 실제로 신뢰할 수 있는지 보장하는 안전 장치가 부족합니다. 특히, 네트워크는 선형 출력층 (Linear Output Layer)의 단일 가중치에 모든 설명 변동성을 집중시켜, 강력한 예측 성능을 달성하는 동시에 대부분 무의미한 해석을 생성할 수 있는 자유를 가집니다. 역설적이게도, 희소 솔루션 (Sparse Solutions)을 장려하기 위해 제안된 L1 패널티 (L1 Penalty)는 이러한 퇴화된 구성 (Degenerate Configurations)을 더욱 조장함으로써 이 문제를 악화시킵니다. 이러한 취약성을 해결하기 위해, 우리는 선형 출력 가중치를 국소 데이터 변동 (Local Data Variations)과 정렬함으로써 퇴화된 가중치 붕괴 (Weight Collapse)를 방지하는 새로운 패널티 항인 국소 충실도 규제화 (Local Fidelity Regularization, LFR)를 도입합니다. 이 구조적 제약은 충실한 설명을 보장하고 모델 해석의 신뢰성을 실질적으로 향상시킵니다. 또한, OpenML 벤치마크 스위트를 통한 실증적 평가 결과, LFR은 설명 가능성을 위해 정확도를 희생하지 않음을 보여주었습니다. 오히려 규제화되지 않은 IMN보다 향상된 AUROC를 달성했습니다. 최첨단 블랙박스 모델 (Black-box Models)과 매우 경쟁력 있는 결과를 도출함으로써, LFR은 신뢰할 수 있는 해석 가능성과 우수한 예측 성능이라는 이중적 이점을 제공합니다. 소스 코드와 사용 방법은 https://github.com/hugohammer/LFR-IMN.git 에서 확인할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기