GradCuit: 신용 할당 경사 흐름(Credit-Assigned Gradient Flow)을 통한 견고하고 해석 가능한 테스트 시간 잠재

요약

GradCuit은 테스트 시간 최적화(test-time optimization)를 통해 LLM의 추론 능력을 개선하는 새로운 방법론을 제안합니다. Transformer 레이어에 최적화 가능한 잠재 상태를 삽입하여 보상 가중 경사를 직접 할당함으로써, 기존 CoT 방식보다 높은 정확도와 견고성, 해석 가능성을 제공합니다.

핵심 포인트

• 잠재 상태에 직접적인 신용 할당을 통한 테스트 시간 스케일링 구현
• CoT 프롬프팅 대비 평균 6.6%p 높은 정확도 달성
• 학습률 변화에도 일관된 성능을 보이는 높은 견고성 확보
• 토큰 수준의 경사 분석을 통한 추론 과정의 해석 가능성 증명