진실은 생성된 토큰 어딘가에 있다

요약

본 논문은 자기회귀적으로 생성된 언어 모델의 은닉 상태를 효과적인 표현으로 축소하는 방법을 제시합니다. 연구진은 인과 마스킹 하에서도 평균 풀링(mean pooling)이 개별 토큰 사용보다 더 풍부한 의미론적 정보를 제공함을 발견했습니다. 또한, 이 방법론을 통해 생성된 토큰 전반에 걸친 정렬을 분석하여 모델의 해석 가능한 역동성을 밝히고, 프롬프트 기반 표현보다 우수한 성능을 입증합니다.

핵심 포인트

• 자기회귀적으로 생성된 은닉 상태를 효과적인 의미론적 표현으로 축소하는 방법론을 제안함.
• 인과 마스킹 환경에서도 평균 풀링(mean pooling)이 단일 토큰 사용보다 풍부한 정보를 제공함을 정량화함.
• 언어, 비전, 단백질 도메인 등 다양한 참조 공간에 커널 정렬 기법을 적용하여 성능을 입증함.
• 생성된 토큰에서 파생된 표현이 프롬프트 기반 표현보다 우수하며, 모델의 해석 가능한 역동성을 분석할 수 있음을 보여줌.