자연어 오토인코더(Natural-language autoencoders)는 재구성(reconstruction)을 통해 은닉 활성화(hidden activations)에 대한 설명을 평가합니다. 즉, 해당 활성화가 설명으로부터 재생성될 수 있다면 그 설명은 충실(faithful)하다고 간주됩니다. 이 테스트는 개별적인 거짓 주장(false claims)에 대해 구조적으로 둔감합니다. 만약 어떤 주장을 뒤집어도 재구성이 변하지 않는다면, 해당 주장은 전혀 페널티를 받지 않습니다. 우리는 이 테스트가 충실하지 않은 두 가지 방식으로 통과됨을 보여줍니다. 공개된 Qwen-2.5-7B verbalizer를 대상으로 했을 때, 설명들은 우연(chance)보다 훨씬 높은 수준으로 재구성되었으나 특정 주장의 약 2%만이 재구성에 의존적이었으며, 따라서 점수는 구체적인 사실이 아닌 요지(gist)를 추적합니다. 정확한 합성 정답(synthetic ground truth) 하에서 표준 레시피를 적용했을 때, 5번의 실행 중 5번 모두 공동 적응된 사적 코드(co-adapted private codes, 재구성이 의존하는 잘못된 표현)가 생성되었으며, 대상 모델을 변경하지 않는 수정 방식은 도움이 되지 않았습니다. 우리는 두 가지 감사 프로토콜인 grounded-vs-true 교차 검증과 평가자 교체(evaluator swap), 그리고 RECAP(Readable Encodings via Co-trained Auxiliary Predictors)을 제안합니다. RECAP은 지정된 콘텐츠를 디코더블(decodable)하게 유지하기 위해 대상 모델과 함께 학습되는 선형 헤드(linear heads)입니다. RECAP으로 학습된 샌드박스 모델에서, 새로운 verbalizer는 지정된 콘텐츠를 진실되게 진술하며 코드는 사라지지만, 비용은 +0.001-nat만큼 발생합니다. 이는 사전 학습된 Pythia-160M에서도 재현됩니다. 콘텐츠는 신뢰할 수 있게 프로브(probe)로 디코딩 가능해지지만, 새로운 verbalizer는 이를 부분적으로만 전달합니다(진실도 0.44-0.46 vs 거의 0에 가까운 대조군). 해석 가능성(interpretability) 측면에서, 높은 재구성 점수가 개별 주장의 진위성을 보증하지는 않습니다. AI 안전성(AI safety) 측면에서, RECAP은 지정된 내부 콘텐츠를 모델이 속일 수 있는 산문(prose)에 의해 주장되는 것이 아니라, 프로브를 통해 독립적으로 확인 가능하게 만듭니다. 독립적인 프로브는 verbalizer의 거짓 주장보다 진실된 주장에 더 높은 점수를 부여합니다(AUC 0.96, RECAP 미사용 시 0.82). 거짓말을 하면서 재구성 점수를 최대화하도록 설명을 편집하는 적대자(adversary)에 대해(거짓말 페널티의 약 87%를 억제함), RECAP 프로브는 여전히 거짓말을 감지하지만(AUC 0.95), 대조군 프로브는 우연 수준으로 무너집니다(0.51).