트랜스포머를 본질적으로 탄력적으로 만들기

요약

본 논문은 트랜스포머 모델을 재학습 없이 '탄력화(elastifies)'하는 새로운 방법을 제안합니다. 이 방법은 계산 예산의 연속체에 걸쳐 온디바이스 적응이 가능하게 하여, 하드웨어 및 지연 시간 제약 조건에 최적화된 모델 배포를 가능하게 합니다. 핵심적으로 함수 단위 순위 결정 문제를 미분 가능한 방식으로 완화하여, 여러 희소성 목표에서 MLP 뉴런과 어텐션 헤드를 공동으로 가지치기합니다.

핵심 포인트

• 재학습 없이 트랜스포머를 '탄력화'하는 방법을 제시함.
• 계산 예산의 연속체에 걸쳐 온디바이스 적응이 가능해짐.
• 최대 60% 희소성에서도 성능 저하가 미미하며, 단발성 기준선을 능가함.
• 가지치기된 모델은 높은 처리량과 낮은 지연 시간을 달성하여 효율적임.