- 토큰 수준 인덱스에 대한 레이어 커버리지는 정확히 64 레이어 토큰 수준이 될 것입니다.

요약

이 기술 기사는 토큰 수준 인덱싱에 대한 레이어 커버리지가 정확히 64개 레이어의 토큰 수준에서 이루어질 것임을 명시합니다. 또한, 활성화(activations)를 'Teacher-forced' 데이터셋 텍스트로 추출하는 방법을 설명하며, 이는 시스템, 사용자, 어시스턴트 채팅 템플릿을 활용한 단일 순전파(forward pass)를 통해 구현될 예정입니다.

핵심 포인트

• 토큰 수준 인덱싱의 레이어 커버리지는 정확히 64개 토큰 수준으로 설정됩니다.
• 활성화 추출은 'Teacher-forced' 데이터셋 텍스트를 사용합니다.
• 데이터 추출 과정은 시스템, 사용자, 어시스턴트 채팅 템플릿을 포함하는 단일 순전파(forward pass)로 진행되어 효율성을 높입니다.