TypeProbe: 사전 학습된 코드 모델의 은닉 상태에서 타입 표현 복구

요약

본 연구는 최첨단 코드 모델이 내부 은닉 상태에 타입 정보를 얼마나 인코딩하는지 탐구했습니다. Java와 Python 데이터셋을 사용하여, 모델의 잔여 스트림에서 교차 언어적 타입 표현을 성공적으로 탐지했습니다. 이는 코드 모델이 타입 추론 능력을 가지고 있음을 시사하며, 해석 가능성 연구에 기여합니다.

핵심 포인트

• 코드 모델의 은닉 상태에서 내부 타입 정보를 탐지함.
• 타입 지정되지 않은 코드에서도 교차 언어적 타입 표현 발견.
• 한 언어로 훈련하여 다른 언어의 타입을 추론할 수 있음을 입증.
• 이러한 구조가 어휘적/구문 변이에 부분적으로 강건함을 확인.