LLM 추론 사슬의 논리적 연결자 제어를 통한 성능 개선 방안

요약

대규모 언어 모델(LLM)은 다단계 논리 추론에서 구조적 취약성을 보이며, 단일 오류가 전체 사슬에 영향을 미칩니다. 본 연구는 이러한 취약성의 핵심 지점을 '논리 연결자(logical connectives)'로 식별하고, 이 지점들을 제어하는 새로운 프레임워크를 제안합니다. 저희의 다층적 접근 방식은 (1) 기울기 기반 논리 스티어링, (2) 국소화된 분기 탐색, 그리고 (3) 표적 전환 선호도 최적화를 포함하여, 추론 과정 중 논리가 중요한 교차점(logic-critical junctions)에만 개입합니다. 이 방법은 전역적인

핵심 포인트

• 논리 연결자는 LLM 다단계 추론 사슬의 구조적 취약성이 발생하는 주요 지점입니다.
• 제안된 프레임워크는 기울기 기반 논리 스티어링, 국소화된 분기 탐색, 표적 전환 선호도 최적화 등 3가지 핵심 모듈로 구성됩니다.
• 논리 연결자 같은 특정 '논리 중요 교차점'에만 개입함으로써, 기존의 전역 추론 방식(예: beam search) 대비 우수한 정확도-효율성 트레이드오프를 달성합니다.