Complexity Ceiling Benchmark: 깊이 확장(Depth Scaling)에 따른 순차적 추론의 다중 도메인 평가

요약

언어 모델의 추론 단계가 증가함에 따라 성능이 저하되는 양상을 평가하는 Complexity Ceiling Benchmark(CCB)를 제안합니다. 실험 결과, 모델들은 도메인에 따라 서로 다른 성능 한계치를 보이며 기하급수적인 성능 저하 패턴을 나타냅니다.

핵심 포인트

• 추론 단계(N) 증가에 따른 모델 성능의 기하급수적 저하 패턴 발견
• 도메인별로 확연히 구분되는 성능 한계치(Ceiling) 존재 확인
• 추론 오류 발생 시점(k*)은 파라미터 수보다 도메인 내 정확도와 더 밀접함
• 상세 상태 추적 유도가 모델의 추론 한계치를 근본적으로 개선하지 못함