진화 게임 이론 관점에서Shortcut 학습 해독: 핵심 기능과 Shortcut 기능의 정의 및 최적화 노이즈의 영향 분석

Shortcut 학습은 딥러닝 모델이 데이터 내 불필요한 특징에 의존하도록 유도합니다. 그러나, 이는 여전히 신경망 훈련 과정에서 형성되는 메커니즘에 대한 이론적 이해가 부족합니다.

본 논문에서는 핵심 기능 (core features) 과 Shortcut 기능의 공식을 정의하고, 데이터 샘플을 플레이어, 해당 신경 탭넷 특징을 전략으로 모델링하여 Shortcut 편향의 기원을 분석하기 위해 진화 게임 이론 (Evolutionary Game Theory) 을 적용합니다. 또한, 핵심 기능과 Shortcut 기능이 존재한다고 가정합니다.

우리는 경사 하강법 (Gradient Descent, GD) 과 확률적 경사 하강법 (Stochastic Gradient Descent, SGD) 이 각각 다른 전략에 해당하는 두 가지 서로 다른 확률적으로 안정된 상태 (stochastically stable states) 를 유도함을 발견했습니다.前者는 Shortcut 서브네트워크를 주로 최적화하고,后者는 핵심 서브네트워크를 주로 최적화합니다.

우리는 이러한 전략이 Shortcut 편향 형성에 미치는 영향을 연속 확률 미분 방정식 (continuous stochastic differential equation) 을 통해 조사하며, 데이터 노이즈와 최적화 노이즈가 Shortcut 편향 형성의 영향력을 밝힙니다.

요약하면, 본 논문은 진화 게임 이론을 활용하여 Shortcut 편향 형성 역학을 특징짓고, 그 완화 방안의 이론적 관점을 제공합니다.