우리는 약 100B(1,000억) 파라미터 규모의 언어 모델(language models)이 잔차 스트림(residual stream)으로부터 디코딩 가능한 밤하늘 지도 표현을 가지고 있는지 분석합니다. 우리는 고려된 대부분의 오픈 소스 모델들이 이러한 표현을 가지고 있음을 발견했으며, 이는 "밤하늘에서 이 물체와 가까운 것은 무엇인가요?"와 같은 질문을 던지는 프롬프트(prompts)에서 종종 상위 주성분(top principal components)으로 나타납니다. 단 하나의 모델을 제외한 모든 모델에서 이 표현은 LOO(Leave-One-Out) 테스트에서 유의미한 점수를 보여주었으며, 최대 65-85%의 분산($R^2$-score)을 포함하고 중앙 각도 오차(median angular error)는 $12^\circ-21^\circ$까지 낮았습니다. 우리는 우리의 표현이 상관관계가 있는 평면적 표현(flat representation)으로부터의 단순한 누출(leak)이 아님을 검증합니다. 우리가 알기로, 이 표현은 곡선형 고차원 기약 특징 다양체(curved high-dimensional irreducible feature manifold)의 첫 번째 사례입니다. 본 논문에서 사용된 코드는 https://github.com/l3erdnik/Decodable-sky 에 게시되어 있습니다.