잠재 공간에서 학습 데이터까지: 최소 MLP에서의 설명 가능한 전문화

본 연구에서는 학습 편향(training biases)이 최소 하나의 은닉층을 가진 MLP(Multi-Layer Perceptrons)에서 은닉 뉴런을 전문화(specialize)시킬 수 있는지, 그리고 이러한 전문화가 학습된 가중치로부터 학습 데이터셋의 프로토타입 기반 재구성(prototype-based reconstruction)을 개선하는지 연구합니다. 우리는 데이터셋 크기와 동일한 너비를 가진 가우시안 활성화(Gaussian activation) MLP를 고려하며, 학습 샘플의 커버리지(coverage), 뉴런 유도 프로토타입 간의 분리(separation), 그리고 은닉 응답(hidden responses)의 낮은 중첩(low overlap)을 각각 장려하는 세 가지 구조적 손실(structural losses)을 표준 피팅(fitting) 베이스라인과 비교합니다. 균일하게 샘플링된 1차원 데이터셋에 대한 실험 결과, 480회의 통제된 실행을 통해 N = 3에서 N = 100에 이르기까지 안정적인 패턴을 보여줍니다. 커버리지 정규화(Coverage regularization)는 테스트된 모든 크기에서 가장 낮은 평균 재구성 오차(mean reconstruction error)를 기록하며, 표준 베이스라인 대비 프로토타입 사용 전문화 비율(prototype-usage specialization ratio)을 높입니다. 반면, 분리(separation)는 혼합된 효과를 보이며, 중첩 페널티(overlap penalties)는 체계적으로 해로운 영향을 미칩니다. 우리는 이러한 해로움이 최적화 실패(optimization failure) 때문이 아님을 보여줍니다. 중첩이 활성화된 접근 방식은 중첩이 없는 방식만큼 데이터를 잘 피팅하지만, 옵티마이저(optimizer)를 프로토타입 중심이 학습 입력의 볼록 껍질(convex hull) 외부로 밀려나는 퇴화된 평형 상태(degenerate equilibrium)로 유도합니다. 커버리지는 이러한 축출(expulsion)에 보상을 줄 수 없으며 끌개(attractor) 역할을 합니다. 분리는 높은 온도(temperature)에서만 이를 허용하며, 중첩은 명목 하이퍼파라미터(nominal hyperparameter) 선택 시 이를 허용합니다. 분리 전용 마스크에 대한 직접적인 τ-스윕(τ-sweep)과 N = 100에서의 프로토타입 위치 시각화는 이 메커니즘을 확인시켜 줍니다. 이러한 발견은 프로토타입 회복 가능성을 고려한 학습(prototype-recoverability-aware training)을 위한 간단한 설계 원칙을 제시합니다: 모든 척력적(repulsive) 구조적 손실은 호환 가능한 끌개(attractor)에 의해 보상되어야 하며, 그렇지 않으면 정교화하려 했던 잠재 기하학(latent geometry)을 붕괴시킬 것입니다.