Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 라벨이 없는 데이터를 활용해 일반화 성능을 높이는 새로운 지표인 '국소 불일치(local inconsistency)'를 제안합니다. 정보 기하학적 관점에서 피셔 정보 행렬과 손실 헤시안을 연결하여 이론적 토대를 구축했으며, 이를 학습 목적 함수에 통합한 IAM 방법론을 소개합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기일반화 간극 (generalization gap)을 추정하고 일반화 성능을 향상시키는 최적화 방법을 개발하는 것은 이론적 이해와 실제 응용 모두에서 딥러닝 (deep learning) 모델에 매우 중요합니다. 이러한 목적을 위해 라벨이 없는 데이터 (unlabeled data)를 활용하는 것은 실제 시나리오에서 상당한 이점을 제공합니다. 본 논문은 신경망 (neural networks)의 파라미터 공간 (parameter space)에 대한 정보 기하학적 (information-geometric) 관점에서 도출된 새로운 일반화 측정 지표인 국소 불일치 (local inconsistency)를 소개합니다. 국소 불일치의 핵심적인 특징은 명시적인 라벨 없이도 계산될 수 있다는 점입니다. 우리는 국소 불일치를 피셔 정보 행렬 (Fisher information matrix) 및 손실 헤시안 (loss Hessian)과 연결함으로써 이론적 토대를 구축합니다. 경험적으로, 우리는 국소 불일치가 일반화 간극과 상관관계가 있음을 입증합니다. 이러한 발견을 바탕으로, 우리는 국소 불일치를 학습 목적 함수 (training objective)에 통합하는 불일치 인지 최소화 (Inconsistency-Aware Minimization, IAM)를 제안합니다. 우리는 표준 지도 학습 (supervised learning) 설정에서 IAM이 일반화 성능을 향상시키며, Sharpness-Aware Minimization과 같은 기존 방법들과 대등한 성능을 달성함을 보여줍니다. 나아가, IAM은 국소 불일치가 라벨이 없는 데이터로부터 계산되는 준지도 학습 (semi-supervised learning) 및 자기지도 학습 (self-supervised learning) 시나리오에서도 효능을 발휘합니다.