화학 언어 모델(Chemical Language Models, CLMs)은 SMILES와 같은 선형화된 표현(linearized representations)을 사용하여 학습되지만, 이들이 어떤 화학적으로 의미 있는 하부 구조(substructures)를 인코딩하는지는 여전히 불분명합니다. CLM에 대한 더 나은 이해를 촉진하기 위해, 우리는 체계적인 연구를 수행하여 8개의 사전 학습된(pre-trained) 모델과 6개의 무작위 초기화된(randomly initialized) 모델에 걸쳐 78개의 분자 하부 구조를 탐사(probe)합니다. 나아가 우리는 화학적 다운스트림 태스크(downstream tasks)에 대한 미세 조정(fine-tuning)이 분자 하부 구조의 학습된 표현(representations)에 어떤 영향을 미치는지 연구합니다. 우리의 결과는 사전 학습이 일반적으로 CLM의 분자 구조 인식 능력을 향상시키며, 특히 상위 레이어(upper layers)에서 그러함을 보여줍니다. 또한, 무작위로 초기화된 모델들도 이미 첫 번째 레이어에서 고리 구조(ring structures)를 잘 인코딩하고 있습니다. 두 가지 화학적 다운스트림 태스크에 대한 분석을 통해, 흥미롭게도 미세 조정이 다른 구조보다 태스크 관련 분자 하부 구조에 더 많은 영향을 미친다는 것을 추가로 밝혀냈으며, 이는 표현의 변화가 화학 이론을 따른다는 것을 나타냅니다.