강건한 추론 증류를 위한 불변 그래디언트 정렬 (Invariant Gradient Alignment)

대규모 언어 모델 (LLMs)은 지름길 학습 (shortcut learning) 문제로 어려움을 겪습니다. 즉, 논리적 구조가 동일하더라도 훈련 데이터와 의미적 표면 (semantic surface)이 다른 분포 외 (out-of-distribution, OOD) 입력에 대해 체계적으로 실패합니다. 이는 사고의 사슬 (chain-of-thought) 추론을 더 작은 학생 모델로 전달하는 지식 증류 (knowledge distillation) 파이프라인을 저해합니다. 본 논문에서는 세 가지 혁신을 통해 의미적으로는 다양하지만 논리적으로는 동형 (isomorphic)인 예제들 사이에서 그래디언트 업데이트를 정렬하는 훈련 프레임워크인 불변 그래디언트 정렬 (Invariant Gradient Alignment, IGA)을 소개합니다: (i) 논리적 동형 집합 (Logical Isomer Sets): 서로 다른 의미적 도메인 (수학, 의학, 법률, 과학)에 걸쳐 동일한 논리 구조를 공유하는 문제 그룹; (ii) 미분 가능한 extit{연속 그래디언트 충돌 마스크 (Continuous Gradient Conflict Mask)}: 불변 방향 (invariant directions)은 보존하면서 도메인 간 그래디언트 분산 (gradient variance)이 높은 파라미터 차원을 억제함; (iii) 마스킹된 그래디언트를 LoRA 저차원 매니폴드 (low-rank manifold)로 다시 투영하는 절단된 SVD (truncated SVD) 투영: 전체 과정에서 파라미터 효율성을 유지함. 이론적으로, IGA는 ERM보다 더 타이트한 OOD 일반화 경계 (generalization bounds)를 산출하며, 이는 동형 도메인의 수에 따라 확장되고, 완만한 정칙성 (regularity) 조건 하에서 표준 SGD 속도로 수렴합니다. 실험적으로, IGA는 4개의 벤치마크에서 8개의 베이스라인을 능가하며, ERM-SFT 대비 최대 14.3 pp의 정확도 향상을 보였고, 논리적 일관성 점수 (Logical Consistency Score)는 0.031 대 0.142를 기록하여 표현 불변성 (representational invariance) 측면에서 4배의 개선을 달성했습니다.