진실은 생성된 토큰 어딘가에 있다

자기회귀적으로 생성된 은닉 상태(hidden states)를 언어 모델의 내부 상태를 반영하는 표현으로 어떻게 축소해야 할까요? 토큰들이 인과 마스킹(causal masking) 하에 생성됨에도 불구하고, 그 은닉 상태들에 대한 평균 풀링(mean pooling)이 개별 토큰 하나만 사용하는 것보다 더 풍부한 의미론적 표현을 제공한다는 것을 발견했습니다. 저희는 언어, 비전, 단백질 도메인 내의 참조 공간(reference spaces)에 대한 커널 정렬(kernel alignment)을 통해 이를 정량화합니다. 평균 풀링을 통한 개선은 정보가 단일 위치에 국한되기보다는 생성된 토큰 전반에 걸쳐 분산되어 있다는 것과 일관됩니다. 더욱이, 생성된 토큰에서 파생된 표현은 프롬프트 토큰(prompt tokens)에서 얻은 표현보다 성능이 우수하며, 생성 전반에 걸친 정렬을 통해 모델 행동의 해석 가능한 역동성(interpretable dynamics)을 밝혀냅니다.