우리는 대규모 언어 모델(LLM)이 인과적 질문에 대해 인코딩(encode)하는 내용과 실제로 답변하는 내용 사이에 불일치가 있음을 발견했습니다. 상식에 반하는 CLadder 항목들에 대해, 고정된 선형 프로브(linear probe)를 사용하면 모델의 은닉 상태(hidden state)로부터 증거에 기반한 정답을 복구할 수 있는 반면(정확도 약 0.97), 실제로 내뱉는 Yes/No 답변은 상식적인 답변으로 되돌아갑니다(정확도 약 0.5). 우리는 이 약 +0.5의 격차를 '인과적 혀 묶임(Causal Tongue-Tie)'이라고 부릅니다. 즉, 잘못된 Yes/No 답변은 두 가지 분리 가능한 실패 모드로 분해됩니다: 내부 신호가 없는 경우와, 신호는 존재하지만 언어적 인터페이스(verbal interface)가 이를 말할 수 없는 경우입니다. 이 함의는 출력 전용 인과 벤치마크(output-only causal benchmarks)에 대해 양면적인 시사점을 줍니다. 벤치마크 결과가 '정답'이라고 해서 모델이 이해했다는 것을 의미하지 않을 수 있으며, 벤치마크 결과가 '오답'이라고 해서 모델이 이해하지 못했다는 것을 의미하지 않을 수도 있습니다. 단일 정확도 수치로부터 도출된, LLM이 인과적 추론(causal reasoning)을 할 수 있는지에 대한 광범위한 주장들은 재검토될 가치가 있습니다.