무한소 비구성적 스케치에서의 학습 (Learning in Infinitesimal Non-Compositional Sketches)
요약
본 논문은 '무한소 비구성적 스케치에서의 학습(LINCS)'이라는 범주론적 틀을 제시하며, 머신러닝 문제를 일반화된 스케치로 정의합니다. 이는 기존의 손실 함수나 벡터 공간 가정을 넘어선 보편 인수분해 문제 실패를 통해 비구성성을 다룹니다. 또한 연속적인 접선 전개(successive tangent unfoldings)를 통해 ML을 코알게브라적 고정점 찾기로 공식화했습니다.
핵심 포인트
- LINCS는 범주론적 틀로, 일반화된 스케치와 인수분해 실패를 다룹니다.
- 비구성성은 산술적 오류가 아닌 보편 인수분해 문제의 실패로 정의됩니다.
- ML 학습은 연속적인 접선 전개(tangent unfoldings)를 통해 코알게브라적 고정점을 찾는 것으로 공식화되었습니다.
본 논문은 범주론적 틀인 '무한소 비구성적 스케치에서의 학습(LINCS: Learning in Infinitesimal Non-Compositional Sketches)'을 개발하여, 비구성성(non-compositionality)의 복구 방안을 제시합니다. 이는 다이어그램이 접선 범주 설정으로 끌어올려진 몫 스케치(quotient sketches)를 통해 인수분해되지 못하는 실패 사례들을 다룹니다.
머신러닝 문제는 스케치로 명시됩니다. 이 스케치는 교환성 조건 $\mathcal D$, 극한 콘(limit cones) $\mathcal L$, 그리고 여극한 코콘(colimit cocones) $\mathcal K$을 가진 그래프이며, 이는 손실 함수에 대한 일반적인 스칼라화나 벡터 공간 가정을 일반화합니다. 비구성성은 원하는 예측과 실제 예측 사이의 산술적 오류가 아니라, 보편 인수분해 문제(universal factorization problem)의 실패로 순수하게 정의됩니다.
학습 스케치 $\mathbb S=(S,\mathcal D,\mathcal L,\mathcal K)$와 그 기반 그래프 $S$, 그리고 모델 $D:J \rightarrow C$가 주어졌을 때, 기본 결함(base defect)은 인수분해의 장애물 $\mbox{Obs}(\mbox{Fact}{\mathbb S}(D))$입니다. 접선 리프트(tangent lift)는 접선 작용소(tangent functor) $T$를 적용하여 $TD:J \rightarrow C$를 얻고, LINCS는 이 장애물 $\mbox{Obs}(\mbox{Fact}{\mathbb S}(TD))$로 정의됩니다. 이는 무한소 섭동(infinitesimal perturbations)이 구성성 제약 조건을 보존하는지 여부를 묻는 것입니다.
또한 본 논문은 Cockett-Cruttwell 접선 구조가 갖춰진 스케치인 '접선 학습 스케치(Tangent Learning Sketches)'를 소개합니다. 이 논문은 INC 내적 작용소(endofunctor)를 정의하는데, 이는 접선 리프트를 반복하여 인수분해 문제의 탑($D, TD, T^2D, \cdots$)을 생성합니다. 따라서 ML은 연속적인 접선 전개(successive tangent unfoldings)가 안정화되는 코알게브라적 고정점(coalgebraic fixed point)을 찾는 것으로 공식화됩니다 ($\nu T_{\mbox{INC}}$). Aczel--Mendler 정리를 사용하여, $T_{\mbox{INC}}$가 최종 운반체(final carrier)를 생성하는 집합 기반 클래스 실현(set-based class realization)을 허용할 때 최종 INC 코알게브라의 존재성을 증명합니다. LINCS에 대한 상세한 실험적 평가는 딥러닝, 대규모 언어 모델, 강화 학습을 포함한 여러 구체적인 ML 환경에서 진행 중이며, 이는 별도의 논문에서 설명됩니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기