12M 토큰 컨텍스트 > SubQ가 바꾸려는 LLM 스케일링

요약

SubQ가 제안한 새로운 아키텍처는 기존 트랜스포머의 가장 큰 문제점인 긴 컨텍스트 처리 비용과 속도 문제를 해결하는 데 초점을 맞추고 있습니다. 핵심은 'SSA(Selective Sparse Attention)'라는 접근 방식으로, 모든 토큰 간의 관계를 계산하던 방식 대신 내용 기반으로 필요한 위치만 선택적으로 어텐션을 수행합니다. 이 기술은 단순히 컨텍스트 길이를 늘리는 것을 넘어, 긴 문맥 속에서 흩어진 정보까지 정확하고 효율적으로 회수할 수 있게 함으로써 LLM 스케일링의 패러다임을 변화시키고자 합니다.

핵심 포인트

• SubQ는 12M 토큰 컨텍스트를 목표로 하며, 단순히 길이만 늘리는 것이 아니라 비용과 속도 문제를 해결하는 데 중점을 둡니다.
• 핵심 기술인 SSA(Selective Sparse Attention)는 모든 관계를 계산하는 기존 Dense Attention 대신, 내용 기반으로 필요한 위치만을 선택하여 어텐션을 수행합니다.
• SSA는 고정된 패턴을 보는 기존의 Sparse Attention과 달리, 문맥에 따라 중요한 정보를 동적으로 찾아낼 수 있어 정보 손실 위험이 적습니다.
• 기술적 우위를 입증하며, 1M 토큰 처리 시 FlashAttention 대비 최대 52.2배 빠른 입력 처리가 가능함을 제시했습니다.
• 개발 관점에서 이는 전체 코드베이스나 프로젝트 히스토리 등 방대한 작업 기억을 한 번에 로드하여 추론할 수 있는 새로운 코딩 에이전트의 기반을 마련합니다.