트랜스포머 자료를 보면 공식은 한 줄인데, 단어가 누구에게 주의를 기울였는지(attend)와 숫자가 단계별로 어떻게 변하는지 설명하려면 머리가

트랜스포머 관련 자료들을 살펴보면 공식 자체는 한 줄에 불과하지만, 특정 단어가 정확히 어떤 토큰에 주의를 기울였는지(attend) 그리고 숫자들이 단계적으로 어떻게 변화했는지까지 설명하려고 하면 여전히 머릿속이 안개와 같다.

Training Explorer는 대규모 모델(large-model) 훈련 과정을 재생하고, 한 단계씩 진행하며, 되돌릴 수 있는 인터랙티브 강의로 만들어 주었으며, 매 단계마다 모델 내부의 행렬과 확률을 눈앞에 펼쳐 보여준다.

샘플 강의에서는 손으로 계산할 수 있는 작은 모델을 사용했으며, 4개의 토큰과 2개의 어텐션 헤드(attention heads)를 통해 출력까지 총 12단계의 계산 과정을 거친다. 이 숫자들은 임의로 만든 히트맵이 아니라 실제로 계산된 값들이다.

GitHub:
http://github.com/ninetyhe-90/training-explore

총 14개의 강의가 있으며, 토큰화(tokenization), 역전파(backpropagation), 옵티마이저(optimizers)부터 분산 훈련(distributed training), GPU 메모리, 추론(inference), 그리고 미세 조정(fine-tuning) 및 정렬(alignment)에 이르기까지 다룬다.

모든 장에는 유도 과정(derivations), 수치 예시, PyTorch 코드가 포함되어 있으며, 흔한 실수와 자체 점검 질문이 제공되고, 참고 자료는 원본 논문과 공식 문서로 직접 연결된다.

계정 생성 없이 브라우저에 진행 상황이 저장된다. 만약 대규모 모델 훈련을 기초부터 이해하고 싶다면, 논문을 읽고 지식을 쌓는 것보다 훨씬 쉽다.