파인튜닝 전에 선형적인 지식은 이후에도 일반화된다

언어 모델이 회상할 수 있는 모든 사실이 추가 학습을 동일하게 지원하는 것은 아닙니다. 우리는 자신의 회상을 넘어서는 일반화를 지원하는 능동적 사실(active facts)과, 회상은 가능하지만 주어진 작업에서 그러한 일반화를 지원하지 못하는 불활성 사실(inert facts)을 구별합니다. 우리는 기존 관계로부터 새로운 관계를 구성하여 이 구분을 연구했습니다. 장소를 그 대륙에 매핑하는 관계(Paris -> Europe)를 가져와, 각 답변에 임의의 새 레이블을 할당합니다 (Europe -> crab, Asia -> zebra). 그러면 새로운 관계는 Paris -> crab을 매핑하게 됩니다. 우리는 원본 관계나 재레이블링 규칙을 알려주지 않은 채, 특정 주어들의 부분집합에 대해 모델을 이 새로운 관계로 파인튜닝하고, 원본 관계에서 답변을 공유하는 보류된(held-out) 주어들에 해당 레이블이 할당되는지를 테스트합니다. Paris -> crab을 학습한 후, Munich -> crab이라고 답할까요? 11개의 언어 모델과 70개의 관계에 걸쳐, 원본 관계가 사전 학습 표현에서 얼마나 선형적으로 읽히는지가 이 일반화를 강력하게 예측합니다. 각 모델 내에서, 두 값은 관계 전반에 걸쳐 Pearson r = 0.87에서 0.92 사이로 상관관계를 보입니다. 이러한 연관성은 파인튜닝 주어 수와 답변 수에 대해 개별적으로 그리고 공동으로 통제하고, 원본 관계에 대한 모델의 정확도, 그리고 주어가 사전 학습 텍스트에 얼마나 자주 나타나는지를 고려하더라도 지속됩니다. 또한 레이블 할당과 파인튜닝 시드를 재무작위화하거나, 동물 레이블을 다른 13개 의미 범주의 레이블로 대체하는 것에도 강건합니다. 우리가 파인튜닝된 모델의 잘못된 레이블을 그것이 원래 할당받았던 답변으로 되돌리면, Munich -> zebra는 Munich -> Asia가 됩니다. 이렇게 회복된 답변들은 주어에 대한 선형 프로브(linear probe)의 상위 답변들 중에서, 사전 학습된 모델 자체의 답변들보다 더 자주 나타납니다. 새로운 관계가 일반화되는지는 그 사실들이 회상될 수 있는지 여부보다는, 그들의 공유된 구조가 얼마나 쉽게 선형적으로 읽힐 수 있는지에 달려 있습니다.