본문으로 건너뛰기

© 2026 Molayo

arXiv논문2026. 06. 05. 13:46

대칭적 발산과 정규화된 유사성: 표현 분석을 위한 통합적 위상학적 프레임워크

요약

신경 표현 비교를 위한 새로운 위상 데이터 분석(TDA) 프레임워크를 제안합니다. 기존 방식의 비대칭성과 샘플 크기 의존성 문제를 해결하기 위해 SRTD와 NTS 지표를 도입하여 정밀한 구조적 진단과 표준화된 벤치마킹을 가능하게 합니다.

핵심 포인트

  • SRTD를 통해 이론적 비대칭성을 해결하고 구조적 불일치를 정밀하게 국소화함
  • NTS를 제안하여 -1과 1 사이의 척도 불변 지표로 신뢰할 수 있는 벤치마킹 제공
  • CNN의 기능적 변화 포착 및 LLM 계보 매핑 성능 입증
  • CKA를 보완하는 엄격한 위상 인지적 관점 제공

위상 데이터 분석 (Topological Data Analysis, TDA)은 신경 표현 (neural representations)을 비교하기 위한 원칙적이고 본질적인 관점을 제공합니다. 그러나 기존의 쌍을 이룬 위상학적 발산 (paired topological divergences, 예: RTD)은 휴리스틱한 비대칭성(heuristic asymmetry)으로 인해 제한적이며, 더 결정적으로 샘플 크기에 따라 달라지는 무제한적인 점수 (unbounded scores)로 인해 신뢰할 수 있는 교차 시나리오 벤치마킹 (cross-scenario benchmarking)을 방해합니다. 이러한 과제를 해결하기 위해, 우리는 미세한 구조적 진단과 강력하고 표준화된 평가라는 두 가지 상호 보완적인 요구를 충족하는 통합 위상학적 툴킷 (topological toolkit)을 개발합니다. 첫째, 우리는 대칭적 표현 위상 발산 (Symmetric Representation Topology Divergence, SRTD)과 그 효율적인 변형인 SRTD-lite를 도입하여 RTD 프레임워크를 완성합니다. SRTD는 이전 변형들의 이론적 비대칭성을 해결할 뿐만 아니라, 진단 정보를 단일하고 포괄적인 교차 바코드 시그니처 (cross-barcode signature)로 통합합니다. 이를 통해 구조적 불일치를 정밀하게 국소화할 수 있으며, 이중 방향 계산의 오버헤드 없이 효과적인 최적화 목적 함수 (optimization objective)로 기능합니다. 둘째, 이질적인 환경 전반에서 신뢰할 수 있는 벤치마킹을 가능하게 하기 위해, 정규화된 위상 유사성 (Normalized Topological Similarity, NTS)을 제안합니다. 계층적 병합 순서 (hierarchical merge orders)의 순위 상관관계 (rank correlation)를 측정함으로써, NTS는 -1과 1 사이로 제한되는 척도 불변 (scale-invariant) 지표를 산출하며, 정규화되지 않은 발산 (unnormalized divergences)의 척도 및 샘플 의존성 문제를 효과적으로 극복합니다. 합성 및 실제 딥러닝 (deep learning) 환경 전반에 걸친 실험을 통해, 우리의 툴킷이 기하학적 측정법 (geometric measures)이 놓치는 CNN의 기능적 변화를 포착하고, 거리 포화 (distance saturation) 상황에서도 LLM 계보를 견고하게 매핑함을 입증하였으며, CKA와 같은 측정법을 보완하는 엄격하고 위상 인지적인 (topology-aware) 관점을 제공합니다.

AI 자동 생성 콘텐츠

본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
0

댓글

0