Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
100B 규모의 언어 모델 잔차 스트림 내에 밤하늘 지도를 디코딩할 수 있는 표현이 존재하는지 분석한 연구입니다. 대부분의 오픈 소스 모델이 곡선형 고차원 기약 특징 다양체 형태의 밤하늘 표현을 보유하고 있음을 확인했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기우리는 약 100B(1,000억) 파라미터 규모의 언어 모델(language models)이 잔차 스트림(residual stream)으로부터 디코딩 가능한 밤하늘 지도 표현을 가지고 있는지 분석합니다. 우리는 고려된 대부분의 오픈 소스 모델들이 이러한 표현을 가지고 있음을 발견했으며, 이는 "밤하늘에서 이 물체와 가까운 것은 무엇인가요?"와 같은 질문을 던지는 프롬프트(prompts)에서 종종 상위 주성분(top principal components)으로 나타납니다. 단 하나의 모델을 제외한 모든 모델에서 이 표현은 LOO(Leave-One-Out) 테스트에서 유의미한 점수를 보여주었으며, 최대 65-85%의 분산($R^2$-score)을 포함하고 중앙 각도 오차(median angular error)는 $12^\circ-21^\circ$까지 낮았습니다. 우리는 우리의 표현이 상관관계가 있는 평면적 표현(flat representation)으로부터의 단순한 누출(leak)이 아님을 검증합니다. 우리가 알기로, 이 표현은 곡선형 고차원 기약 특징 다양체(curved high-dimensional irreducible feature manifold)의 첫 번째 사례입니다. 본 논문에서 사용된 코드는 https://github.com/l3erdnik/Decodable-sky 에 게시되어 있습니다.