트랜스포머를 활용한 비선형 회귀의 In-Context 학습 이해: 주의를 피처화자로

요약

본 논문은 트랜스포머 기반의 인-컨텍스트 학습(ICL)이 비선형 회귀 문제에 어떻게 적용될 수 있는지 탐구합니다. 기존 연구가 선형 모델에 집중된 것과 달리, 본 연구는 주의 메커니즘을 활용하여 다항식이나 스플라인 같은 넓은 함수 클래스를 포함하는 비선형 피처를 명시적으로 구성하고 이를 통해 엔드투엔드 ICL 프레임워크를 제시합니다. 나아가 컨텍스트 길이와 학습 세트 크기를 기반으로 하는 유한 샘플 일반화 오차 한계를 이론적으로 도출하고 수치적으로 검증했습니다.

핵심 포인트

• ICL의 이론적 이해는 여전히 발전 중이며, 본 연구는 비선형 회귀 설정에 초점을 맞춥니다.
• 주의(Attention) 메커니즘을 활용하여 트랜스포머 네트워크를 구성하고, 이를 통해 다항식/스플라인 기반의 비선형 피처를 구현합니다.
• 구성된 비선형 피처를 사용하여 엔드투엔드 인-컨텍스트 비선형 회귀 분석 프레임워크를 확립했습니다.
• 컨텍스트 길이와 학습 세트 크기를 기준으로 하는 유한 샘플 일반화 오차 한계를 이론적으로 제시하고 검증했습니다.