본 논문은 범주론적 틀인 '무한소 비구성적 스케치에서의 학습(LINCS: Learning in Infinitesimal Non-Compositional Sketches)'을 개발하여, 비구성성(non-compositionality)의 복구 방안을 제시합니다. 이는 다이어그램이 접선 범주 설정으로 끌어올려진 몫 스케치(quotient sketches)를 통해 인수분해되지 못하는 실패 사례들을 다룹니다.
머신러닝 문제는 스케치로 명시됩니다. 이 스케치는 교환성 조건 $\mathcal D$, 극한 콘(limit cones) $\mathcal L$, 그리고 여극한 코콘(colimit cocones) $\mathcal K$을 가진 그래프이며, 이는 손실 함수에 대한 일반적인 스칼라화나 벡터 공간 가정을 일반화합니다. 비구성성은 원하는 예측과 실제 예측 사이의 산술적 오류가 아니라, 보편 인수분해 문제(universal factorization problem)의 실패로 순수하게 정의됩니다.
학습 스케치 $\mathbb S=(S,\mathcal D,\mathcal L,\mathcal K)$와 그 기반 그래프 $S$, 그리고 모델 $D:J \rightarrow C$가 주어졌을 때, 기본 결함(base defect)은 인수분해의 장애물 $\mbox{Obs}(\mbox{Fact}{\mathbb S}(D))$입니다. 접선 리프트(tangent lift)는 접선 작용소(tangent functor) $T$를 적용하여 $TD:J \rightarrow C$를 얻고, LINCS는 이 장애물 $\mbox{Obs}(\mbox{Fact}{\mathbb S}(TD))$로 정의됩니다. 이는 무한소 섭동(infinitesimal perturbations)이 구성성 제약 조건을 보존하는지 여부를 묻는 것입니다.
또한 본 논문은 Cockett-Cruttwell 접선 구조가 갖춰진 스케치인 '접선 학습 스케치(Tangent Learning Sketches)'를 소개합니다. 이 논문은 INC 내적 작용소(endofunctor)를 정의하는데, 이는 접선 리프트를 반복하여 인수분해 문제의 탑($D, TD, T^2D, \cdots$)을 생성합니다. 따라서 ML은 연속적인 접선 전개(successive tangent unfoldings)가 안정화되는 코알게브라적 고정점(coalgebraic fixed point)을 찾는 것으로 공식화됩니다 ($\nu T_{\mbox{INC}}$). Aczel--Mendler 정리를 사용하여, $T_{\mbox{INC}}$가 최종 운반체(final carrier)를 생성하는 집합 기반 클래스 실현(set-based class realization)을 허용할 때 최종 INC 코알게브라의 존재성을 증명합니다. LINCS에 대한 상세한 실험적 평가는 딥러닝, 대규모 언어 모델, 강화 학습을 포함한 여러 구체적인 ML 환경에서 진행 중이며, 이는 별도의 논문에서 설명됩니다.