의사 결정자들은 서면 설명이 동반된 전문가의 판단에 일상적으로 의존하지만, 설명의 품질을 대규모로 측정하는 것은 어렵습니다. 예측 토너먼트(Forecasting tournaments)는 자연스러운 테스트 환경을 제공합니다. 즉, 확률적 판단(probabilistic judgments)이 자연어 근거(natural-language rationales)와 쌍을 이루며 실제 결과와 비교되어 점수가 매겨집니다. 우리는 대규모 언어 모델(LLMs)에 의해 점수가 매겨지는 60개의 이론 기반 추론 패턴 세트인 설명 품질 마커(Explanation Quality Markers, EQMs)를 도입합니다. 수년간 진행된 예측 토너먼트에서 추출한 55,000개 이상의 예측-근거 쌍을 대상으로 사전 등록된 분석을 수행한 결과, EQMs는 예측(forecast) 수준과 예측자(forecaster) 수준 모두에서 정확도를 예측하며, LLM 이전의 텍스트 분석 방법들보다 일관되게 우수한 성능을 보였습니다. 통계적으로 유의미한 패턴 수준의 EQM-정확도 상관관계 중 90% 이상이 우리의 방향성 가설과 일치했습니다. 이 신호는 비대칭적입니다. EQMs는 최고의 예측자를 구별하는 것보다 성과가 저조할 가능성이 높은 예측자를 더 신뢰성 있게 식별합니다. 예측 기술의 전통적인 지표들과 비교했을 때, EQMs는 예측 수준에서 가장 강력한 예측 변수이며 예측자 수준에서도 경쟁력을 갖추고 있으나, 기존의 정확도(accuracy)보다는 약합니다. 근거 품질에 대한 인간의 평가는 정확도와 일관되게 상관관계가 나타나지 않으며, 근거의 길이에 불균형적인 가중치를 둡니다. 결과는 독립적인 예측 연구에서도 전이(transfer)됩니다. EQMs는 서면 설명으로부터 판단과 관련된 정보를 추출하기 위한 확장 가능하고 해석 가능한 방법을 제공합니다.