CogScale: 시퀀스 처리(Sequence Processing)를 위한 확장 가능한 벤치마크

시간에 따라 정보를 유지하고 조작하는 능력은 생명체와 인공지능 (Artificial Intelligence)의 근본적인 측면입니다. 현대 모델들이 자연어 처리 (Natural Language Processing)와 같은 작업에서 놀라운 성공을 거두었지만, 새로운 아키텍처 (Architecture)가 순차적 정보 (Sequential Information)를 처리하는 능력을 평가하는 것은 여전히 계산 비용이 많이 들고 시간이 오래 걸리는 작업입니다. 새로운 아키텍처를 테스트하려면 종종 거대한 데이터셋과 모델로 규모를 확장해야 하며, 이는 막대한 계산 비용과 느린 반복 주기 (Iteration Cycles)로 이어집니다. 본 논문에서 우리는 서로 다른 매개변수화 가능한 규모 (Parametrizable Scales)에서 특정 인지 및 기억 능력을 분리하여 평가하도록 설계된 14개의 확장 가능한 합성 작업 (Synthetic Tasks) 벤치마크인 CogScale을 제안합니다. 표준화되고 가벼운 프레임워크를 제공함으로써, CogScale은 연구자들이 대규모 학습에 착수하기 전에 아키텍처 혁신을 빠르게 검증할 수 있도록 합니다. 견고한 베이스라인 (Baseline)을 구축하기 위해, 우리는 일곱 가지의 서로 다른 아키텍처를 평가합니다: Gated Recurrent Unit (GRU), Long Short-Term Memory (LSTM), xLSTM, Echo State Network (ESN), Mamba, Transformer Decoder, 그리고 Transformer Encoder-Decoder입니다. 이러한 평가는 엄격한 매개변수 예산 (Parameter Budgets: 1k, 10k, 100k) 하에 다양한 난이도와 규모에 걸쳐 수행되었습니다. 우리의 결과는 고전적인 RNN과 Echo State Networks가 엄격한 매개변수 예산 내에서 기본적인 유지 능력에는 뛰어나지만, 추론 복잡성 (Reasoning Complexity)과 작업 난이도가 확장됨에 따라 어텐션 메커니즘 (Attention Mechanisms)과 현대적인 상태 공간 모델 (State-Space Models)만이 일관되게 높은 성능을 유지한다는 것을 보여줍니다.