SubQ는 SSA를 중심으로 구축되었습니다.

요약

SubQ는 12M 토큰의 긴 컨텍스트 처리를 목표로 하는 LLM 모델로, 단순히 컨텍스트 길이를 늘리는 것을 넘어 기존 트랜스포머 아키텍처의 핵심 병목인 어텐션 비용 자체를 줄이는 데 초점을 맞추고 있습니다. 이를 위해 SubQ는 'Subquadratic Sparse Attention (SSA)'라는 선형 확장형 어텐션 메커니즘을 중심으로 구축되었습니다.

핵심 포인트

• SubQ는 12M 토큰의 매우 긴 컨텍스트 처리를 목표로 하는 LLM 모델입니다.
• 단순히 컨텍스트 길이를 늘리는 것 이상의 혁신이 핵심이며, 어텐션 비용 자체를 줄이는 데 중점을 두었습니다.
• 핵심 기술은 'Subquadratic Sparse Attention (SSA)'이며, 이는 선형 확장형 어텐션 메커니즘입니다.
• SSA는 긴 컨텍스트 검색, 추론 및 소프트웨어 엔지니어링 워크로드에 최적화되어 있습니다.