Quasar-10B가 선형 어텐션을 2M 토큰 AI 컨텍스트에 적용하다

요약

Quasar-10B는 Gated Linear Attention 메커니즘을 활용하여 2M 토큰이라는 대규모 컨텍스트를 선형 복잡도로 처리할 수 있는 10B 기반 모델입니다. 이는 기존의 트랜스포머 구조가 가지던 계산 복잡도 문제를 해결하며, 장문 이해 능력을 크게 향상시킬 잠재력을 보여줍니다.

핵심 포인트

• Quasar-10B는 Gated Linear Attention을 사용합니다.
• 2M 토큰의 대규모 컨텍스트 처리가 가능합니다.
• 선형 복잡도로 계산 효율성을 높였습니다.