FFR: 회귀를 위한 Forward-Forward 학습

Forward-Forward (FF) 알고리즘은 순수하게 국소적이고 층별적인 최적화 (layer-wise optimization)를 통해 신경망을 학습시킴으로써, 역전파 (backpropagation, BP)를 대체할 수 있는 계산 효율적이고 생물학적으로 타당한 대안을 제공합니다. 그러나 FF는 본질적으로 대조적 양성-음성 샘플 쌍 (contrastive positive-negative sample pairs)을 통한 분류 (classification)를 위해 설계되었으며, 이를 회귀 (regression)로 확장하는 데에는 근본적인 어려움이 따릅니다. 즉, 연속적인 타겟 공간 (continuous target space)에는 대조 학습 (contrastive learning)을 위한 자연스러운 "반대 개념"이 부족하며, 표준적인 goodness function은 타겟의 크기나 순서에 대한 정보를 담고 있지 않습니다. 본 논문에서는 우리가 아는 한, FF를 실제 회귀 문제로 확장한 최초의 프레임워크이자 다양한 실제 데이터셋에서 경쟁력 있는 성능을 입증한 FFR (Forward-Forward for Regression)을 제안합니다. FFR은 세 가지 핵심 혁신을 도입합니다: (1) 거리 인식 순서형 지도 학습 (distance-aware ordinal supervision) 하에서 분할된 뉴런 그룹 간의 경쟁 학습을 통해 대조 쌍을 대체하는 순서형 경쟁 goodness function (ordinal competitive goodness function); (2) 얕은 층은 거친 순서형 판별 (coarse ordinal discrimination)을 학습하고 깊은 층은 세밀한 회귀 (fine-grained regression)로 정교화하며, 층간 협업을 위한 다중 스케일 특징 집계 (multi-scale feature aggregation)를 수행하는 계층적 사다리 구조 (stratified ladder architecture); (3) 다중 스케일 예측기들이 견고한 예측과 함께 보너스로 예측 신뢰도 (prediction confidence)를 공동으로 제공하는 불확실성 추정 (uncertainty estimation)을 포함한 계층적 예측 (hierarchical prediction)입니다. 광범위한 실험 결과에 따르면, FFR은 5개의 실제 회귀 벤치마크에서 BP 정확도의 평균 98.6%를 회복하는 동시에, 깊이(depth) 8에서는 BP 대비 피크 학습 메모리(peak training memory)를 27%로, 깊이 32에서는 8%로 줄였으며, 반복당 시간(per-iteration time)은 BP의 약 72% 수준을 유지하며 모든 BP 미사용 경쟁 모델들을 실질적으로 능가했습니다.