두 번째 해석 가능성 논문에서 '유도 헤드'를 재검토합니다

우리의 두 번째 해석 가능성(interpretability) 논문에서 우리는 'induction heads(유도 헤드)'를 다시 살펴봅니다.

2 개 이상의 레이어(layer)를 가진 트랜스포머(transformer)에서 이러한 패턴 완성(pattern-completion) 헤드는 문맥 학습(in-context learning)이 갑자기 개선되는 시점에 정확히 형성됩니다.

그들은 대규모 트랜스포머의 대부분의 문맥 학습을 담당하는가?
https://transformer-circuits.pub/2022/in-context-learning-and-induction-heads/index.html

우리는 훈련 과정 동안 34 개의 트랜스포머(transformer)를 연구했습니다.
모든 모델(1 레이어 모델을 제외하고)은 수십 억(token)의 데이터를 학습한 후 문맥 학습(in-context learning)에서 갑자기 성능이 향상됩니다.
이 "상변화(phase change)"가 일어나는 동안 발생하는 현상을 연구함으로써 문맥 학습을 주도하는 메커니즘에 대한 증거를 얻을 수 있습니다.

우리의 이전 논문은 'induction heads(유도 헤드)'를 소개했습니다.
이 헤드는 [A][B] … [A] → [B]와 같은 토큰 시퀀스를 완성하는 간단한 알고리즘을 구현합니다.
(그들은 완전히 무작위(completely random)인 토큰에서 작동하므로 n-그램을 기억하지 않습니다.)

이 "상변화(phase change)"는 바로 그들이 발달하는 시기입니다.
상변화 기간 동안의 공존(co-occurrence)은 우리가 제시하는 6 가지 주장 중 하나이며, 최첨단 트랜스포머에서 유도 헤드가 문맥 학습의 대부분을 주도할 수 있다는 우연적 증거(circumstantial case)를 형성합니다.

이러한 발견들은 결정적이지 않으며, 대안적인 가설(alternative hypotheses)도 가능합니다.