하이브리드 어텐션 모델로의 변형

요약

FlashMorph는 사전 학습된 Transformer를 하이브리드 어텐션 모델로 변환하는 기술입니다. 연산량을 줄이면서도 긴 문맥 회상 능력을 유지하기 위해 전체 어텐션과 선형 어텐션 레이어를 효율적으로 선택합니다.

핵심 포인트

• 사전 학습된 Transformer를 하이브리드 어텐션 모델로 변환
• 연산 효율성 향상 및 긴 문맥 회상(long-context recall) 능력 강화
• 전체 어텐션과 선형 어텐션 레이어의 최적 조합 선택