요약

본 기사는 언어 모델의 압축 기술에 대한 연구를 다루며, 태스크 인식 계층별 증류(Task-aware Layerwise Distillation) 방법을 제안합니다. 이 방법은 효율적인 경량화 모델을 구축하는 데 초점을 맞추고 있습니다.

핵심 포인트

• 언어 모델 압축 기법에 대한 연구를 제시함.
• 태스크 인식 계층별 증류(Task-aware Layerwise Distillation) 방법을 제안함.
• 경량화된 모델을 효율적으로 구축하는 데 초점을 맞춤.