SICI: 의미-화용론적 복잡도 지수가 LLM의 입장 탐지(Stance Detection)에서 체제 변화를 밝히다

요약

본 논문은 LLM의 입장 탐지 성능을 진단하는 새로운 7차원 측정치인 SICI(Stance Inference Complexity Index)를 제안합니다. SICI는 목표-텍스트 쌍이 가지는 의미-화용론적 복잡도를 측정하며, 이 지표가 증가함에 따라 LLM 오류 패턴이 체제 변화(regime shift)를 겪음을 밝혀냈습니다.

핵심 포인트

• SICI는 LLM의 입장 탐지 정확도를 예측하는 새로운 7차원 복잡도 지수입니다.
• 복잡도가 증가함에 따라 LLM 오류가 과잉 귀속 $ ightarrow$ 불안정 $ ightarrow$ 'None' 집중으로 체제 변화를 보입니다.
• 이러한 상전이 구조는 GPT-3.5, GPT-4o 전반 등 다양한 모델에서 관찰됩니다.
• 기존의 프롬프팅이나 검색 기법은 높은 복잡도의 병목 현상을 완전히 해결하지 못합니다.