Probing 은 언어 모델 표현에서 어떤 특징을 복원할 수 있는지 연구하는 데 널리 사용됩니다. 그러나 일반적인 Decoding Probe 접근 방식은 두 가지 한계가 있으며, 우리는 새로운 Encoding Probe 접근 방식으로 이를 해결하고자 합니다: 서로 다른 특징이 모델 표현에 기여하는 정도를 직접 비교할 수 없으며, 특징 간의 상관관계가 Probing 결과에 영향을 줄 수 있습니다. 우리는 이 방향을 역전시키고 해석 가능한 특징을 사용하여 모델의 내부 표현을 재구성하는 Encoding Probe 를 제시합니다. 우리는 텍스트 및 음성 트랜스포머 모델을 대상으로, 음향학, 발음학, 문법, 어휘, 화자 식별을 아우르는 다양한 특징 집합을 사용하여 이 방법을 평가했습니다. 우리의 결과는 화자 관련 효과가 다른 학습 목표와 데이터셋 간에 강하게 변한다는 것을 시사하며, 문법 및 어휘적 특징은 재구성에서 독립적으로 기여함을 보여줍니다. 이러한 결과는 Encoding Probe 가 Decodability 를 넘어 모델 표현을 해석하는 데 보완적인 관점을 제공함을 보여줍니다.