CogScale: 시퀀스 처리(Sequence Processing)를 위한 확장 가능한 벤치마크

요약

CogScale은 새로운 AI 아키텍처의 시퀀스 처리 능력을 효율적으로 평가하기 위해 설계된 14개의 확장 가능한 합성 작업 벤치마크입니다. 연구자들이 대규모 학습 전 아키텍처 혁신을 빠르게 검증할 수 있도록 다양한 매개변수 규모에서 인지 및 기억 능력을 분리하여 평가합니다. 실험 결과, 매개변수 예산이 제한적일 때는 RNN 계열이 강점을 보였으나, 복잡도가 높아질수록 Attention 메커니즘과 SSM 기반 모델이 우수한 성능을 보였습니다.

핵심 포인트

• 시퀀스 처리 능력을 평가하기 위한 14개의 확장 가능한 합성 작업 벤치마크 CogScale 제안
• GRU, LSTM, xLSTM, ESN, Mamba, Transformer 등 7가지 주요 아키텍처 비교 분석
• 1k, 10k, 100k의 엄격한 매개변수 예산 하에서 모델 성능 검증
• 단순 유지 능력은 고전적 RNN이 뛰어나지만, 복잡한 추론에는 Attention 및 SSM이 필수적임을 확인