인 컨텍스트 러닝(In-context learning)은 일반적으로 조건부 추론(conditional inference)의 한 형태로 해석되며, 이 경우 프롬프트가 문맥을 지정하고 모델의 출력은 해당 조건부 분포에 대한 추정치로 간주됩니다. 만약 이러한 해석이 성립한다면, LLM 추정치는 기본적인 확률적 항등식(probabilistic identities)을 만족해야 합니다. 특히, 전체 확률의 법칙(law of total probability)은 사전 가중치가 부여된 조건부 분포들이 모집단의 유효한 분할(partition)에 걸쳐 인구 수준의 주변값(marginals)으로 집계됨을 주장합니다. 본 연구에서는 LLM 추정치가 이 자기 일관성 원칙(self-consistency principle)을 어느 정도까지 준수하는지 조사합니다. 우리는 이진 트리(binary trees)를 평가 스캐폴드(evaluation scaffold)로 사용하여 모집단을 점차적으로 세분화된 하위 모집단으로 재귀적으로 분할합니다. 그런 다음 LLM에 문맥 내에서 구어체화된 하위 모집단 설명을 프롬프트하고, 그 결과 추정치들을 다시 인구 수준의 추정치로 집계한 뒤, 다양한 세분성(granularity)을 가진 분할 전반에 걸쳐 이들을 비교합니다. 문제 영역 및 최첨단 모델들 전반에 걸쳐 이 프로토콜을 적용한 결과, 기본적인 일관성 속성들의 광범위한 위반이 나타남을 보여줍니다. 페르소나 프롬프팅(persona prompting)에 대한 심층 연구는 우리가 매크로 오류(macro fallacy)라고 부르는 패턴을 밝혀냈습니다: 더 세분화된 하위 모집단 응답으로부터 재구성된 추정치들이 직접적인 인구 수준의 추정치보다 인간 참조 데이터와 더 잘 정렬되는 경우가 많았습니다. 이러한 효과는 트리 구조 및 추정 작업의 변화에 걸쳐 지속되며, 암묵적 프롬프팅(implicit prompting)을 통해 부분적으로 회복될 수 있습니다. 종합적으로 볼 때, 이러한 발견들은 모델들이 관련 하위 모집단 지식을 가지고 있지만, 이를 집계 추정치로 신뢰성 있게 전파하지 못한다는 것을 시사합니다. 이 격차는 통계적 자기 일관성을 LLM 평가를 위한 포화되지 않은(unsaturated) 참조 없는(reference-free) 기준으로 확립합니다.