선형화의 핵심: 분석 기반 트랜스포머 선형화

요약

본 연구는 인과적 셀프 어텐션의 2차 비용 문제를 해결하기 위해 트랜스포머 선형화 기법을 제안합니다. 모델 품질 보존에 초점을 맞춰, 상태 업데이트 설계와 구조적 개입(싱크 토큰 등)을 분석했습니다. LLaMA 및 Qwen 같은 대규모 모델까지 확장하여 MMLU에서 우수한 성능과 긴 컨텍스트 검색 능력을 입증했습니다.

핵심 포인트

• 인과적 셀프 어텐션의 2차 비용 문제를 해결하는 연구입니다.
• 델타 스타일 네트워크가 게이팅 누적보다 우수함을 이론적으로 설명합니다.
• 싱크 토큰, 짧은 컨볼루션 등 구조적 개입으로 오차를 줄였습니다.
• LLaMA와 Qwen 모델에 적용하여 높은 성능을 입증했습니다.