최첨단(State-of-the-art) 코드 모델들은 인상적인 성능을 달성하지만, 이들이 내부적으로 어느 정도까지 타입 정보를 인코딩하는지는 여전히 잘 이해되지 않은 문제입니다. 우리는 Java와 Python 코드 예제들의 병렬 데이터셋을 사용하여 사전 학습된 코드 모델의 잔여 스트림(residual streams)에서 내부 타입 표현을 탐지합니다. 우리의 결과는 타입이 지정되지 않은(untyped) 코드에서도 교차 언어적(cross-lingual) 타입 표현이 나타남을 보여줍니다. 나아가, 우리는 한 언어로 프로브를 훈련시켜 다른 언어의 인자 및 결과 타입을 추론함으로써, 은닉 상태가 타입이 지정된 함수 적용에 의해 암시되는 결과 타입을 선형적으로 인코딩하는지 테스트합니다. 마지막으로, 우리는 이러한 구조가 어휘적 교란(lexical perturbations)과 교차 언어 구문 변이(cross-language syntactic variations)에 부분적으로 강건하다는 것을 발견했습니다. 우리가 아는 한, 코드 모델의 해석 가능성(interpretability)에 대한 이전 연구들은 형식 타입 의미론(formal type semantics)이나 교차 언어적 타입 표현을 직접적으로 목표로 삼지 않았습니다. 우리의 코드와 데이터셋을 공개합니다.