Prolog를 활용한 언어 모델의 장기 예측 추론 능력 탐색

요약

본 연구는 최신 LLM의 긴 컨텍스트 처리 능력을 넘어, 장기 예측 추론 능력에 초점을 맞추었습니다. Prolog로 표현된 연역 논리를 활용하여 'ProloNg'라는 합성 테스트베드를 구축했습니다. 실험 결과, 모델의 추론 깊이가 증가할수록 성능이 급격히 저하되며, 대부분의 모델은 깊이 10을 넘어서면 우연 수준에 근접함을 확인했습니다.

핵심 포인트

• LLM의 장기 예측 추론 능력 탐색에 초점
• Prolog 기반 'ProloNg' 테스트베드 구축 및 활용
• 추론 깊이가 증가할수록 모델 성능 급격히 저하
• 대부분의 LLM은 깊이 10 이상에서 우연 수준 근접