새로운 작업으로의 외삽 학습: 작업 외삽을 위한 관계적 접근 방식

현대의 학습 시스템은 보간 (Interpolation)에는 뛰어나지만, 훈련 분포의 지지 (Support) 범위를 벗어난 미지의 작업으로 일반화하는 데에는 어려움을 겪습니다. 이러한 실패는 훈련 범위를 벗어난 작업 매개변수 (Task parameters)를 처리하는 것과 같은 단순한 설정에서도 발생하며, 파운데이션 모델 (Foundation models)의 발전에도 불구하고 지속되고 있습니다. 이를 해결하기 위해, 우리는 새로운 작업으로의 체계적인 외삽 (Extrapolation)을 가능하게 하도록 설계된 알고리즘인 관계적 작업 외삽기 (Relational Task Extrapolator, RTE)를 개발합니다. 핵심적인 관찰 결과는 외삽이 본질적으로 관계적 (Relational)이라는 점입니다. 즉, 미지의 작업으로 외삽하기 위해서는 작업들이 서로 어떻게 변환되는지를 학습해야 합니다. 만약 모델이 훈련 중에 작업 A와 B 사이의 변환을 학습한다면, 테스트 시점에 알려진 작업들을 미지의 작업들과 연결하기 위해 동일한 변환을 적용할 수 있습니다. RTE는 각 대상 작업을 알려진 앵커 작업 (Anchor task)과 앵커 및 대상 작업을 연결하는 변환으로 분해함으로써 이 아이디어를 실행에 옮깁니다. 그런 다음 앵커-변환 쌍을 대상 작업에 대한 예측으로 매핑하는 관계 연산자 (Relational operator)를 학습합니다. 우리는 함수 예측 (Function prediction) 내의 여러 작업 외삽 체계에서 RTE를 구현합니다. 예를 들어, 대상 작업이 범위를 벗어난 매개변수를 사용하는 경우 (매개변수 외삽, Parameter extrapolation), 더 큰 구성적 깊이를 갖는 경우 (길이 외삽, Length extrapolation), 그리고/또는 함수 기본 단위 (Function primitives)를 보지 못한 방식으로 재조합하는 경우 (구성적 외삽, Compositional extrapolation) 등이 포함됩니다. 나아가 우리는 RTE를 시퀀스 예측 (Sequence prediction)으로 확장하여 파운데이션 모델을 위한 미세 조정 (Fine-tuning) 알고리즘에 통합합니다. 실증적 연구 전반에 걸쳐, 우리는 RTE가 새롭고 미지의 작업에 대한 외삽에서 기존 방식들을 실질적으로 능가한다는 것을 발견했습니다.