차트 질의응답 (Chart QA) 벤치마크는 정확한 답변을 위해 시각적 추론 (Visual Reasoning)을 요구하는 질문을 던지는 것을 목표로 하지만, 모델들은 종종 지름길을 이용하거나 자신의 배경 지식에 기반하여 차트에 대한 사전 친숙도를 통해 해결책에 도달하곤 합니다. 시각적 추론을 엄격하게 평가하기 위해, 우리는 차트-질문 태스크는 고정된 상태에서 기저의 차트와 그에 상응하는 답변을 변경하는 반사실적 차트 (Counterfactual Charts)를 제안합니다. 우리는 차트를 실행 가능한 코드 (Executable Code)로 역공학 (Reverse Engineer)하고, 재구성 충실도 (Reconstruction Fidelity)를 검증하며, 시드 제어형 반사실적 변형 (Seed-controlled Counterfactual Variants)을 생성하고, 실행 가능한 QA 로직으로부터 새로운 답변을 도출하는 프레임워크인 Chartographer를 소개합니다. 우리는 이 프레임워크를 기존의 차트 QA 데이터셋에 적용하고, 독점 및 오픈 소스 시각-언어 모델 (Vision-Language Models, VLMs)을 평가하여 변동 민감도 (Variation Sensitivity)와 일반화 능력 (Generalizability)을 측정합니다. 반사실적 차트는 단일 차트 성능에 의해 숨겨졌던 실패 사례들을 드러냅니다. 즉, VLMs는 원래의 차트에 올바르게 답변한 후에도 일반화에 실패하는 경우가 많습니다. 우리는 업데이트된 차트가 새로운 시각적 추론 경로를 요구할 때 이러한 실패가 가장 빈번하게 발생한다는 것을 발견했습니다.