왜 Transformer를 뛰어넘는 아키텍처는 보급되지 않는가? Mamba와 TTT를 통해 본 「이론치 ≠ 실효치」라는 현실

👋 서론

왜 Transformer를 뛰어넘는 아키텍처는 등장하지 않는 것일까요?

Transformer가 발표된 것은 2017년입니다.

그로부터 긴 시간이 흘러, AI 모델의 규모와 성능은 크게 변화했습니다. 하지만 현재의 대규모 언어 모델(Large Language Model)도 기본적으로는 Transformer를 중심으로 구축되어 있습니다.

물론, Transformer를 대체할 아키텍처가 연구되지 않고 있는 것은 아닙니다.

Mamba나 TTT(Test-Time Training)를 비롯하여, 계산 효율을 개선하는 새로운 아키텍처가 차례차례 제안되고 있습니다.

그럼에도 불구하고 Transformer로부터의 세대교체는 일어나지 않고 있습니다.

이 기사의 결론은 다음과 같습니다.

Transformer를 뛰어넘는 후보는 이미 등장해 있습니다.

하지만 AI 아키텍처는 이론상의 계산량이나 벤치마크 성능만으로는 보급되지 않습니다. 하드웨어, 계산 커널(Computing Kernel), 프레임워크, 학습 기반, 기존 모델 등을 포함한 시스템 전체로 평가받기 때문입니다.

저는 TTT 아키텍처를 공부하는 과정에서 Mamba 등의 차세대 아키텍처에도 흥미를 갖게 되었습니다. 조사해 나가는 과정에서 새로운 의문이 생겼습니다.

"이토록 효율적인 아키텍처가 왜 보급되지 않는 것일까?"

이 기사에서는 Mamba와 TTT를 예로 들어 그 이유를 생각해 봅니다.

⚡ AI는 계산 자원을 계속 늘리기만 해서는 성장할 수 없다

새로운 아키텍처가 필요로 하는 배경에는 AI를 뒷받침하는 계산 자원의 문제가 있습니다.

현재 채택되고 있는, 모델을 키우고 데이터를 늘리고 계산량을 늘림으로써 성능을 향상시키는 방법은 매우 강력합니다.

하지만 이 방법을 무제한으로 계속할 수는 없습니다.

주요 이유는 다음 세 가지입니다.

데이터 센터의 전력 소비와 환경 부하

반도체의 발열과 전력 공급

반도체 미세화에 따른 성능 향상의 둔화

이것들은 독립된 문제가 아닙니다.

소비 전력이 늘어나면 발열이 늘어납니다.

발열이 늘어나면 냉각 설비와 전력 공급이 필요해집니다.

계산 능력을 늘릴수록 모델을 구동하기 위한 물리적인 비용이 커집니다.

현재의 스케일링 법칙(Scaling Law)에 기반한 AI의 스케일 레이스(Scale Race)는 비효율적입니다.

openaiのaiデータセンター

🌍 데이터 센터의 전력 수요가 증가하고 있다

IEA(국제 에너지 기구)는 전 세계 데이터 센터의 전력 소비가 2030년까지 약 945TWh로 두 배 증가할 것이라고 예측하고 있습니다.

이는 현재 일본 전체의 연간 전력 소비량에 가까운 규모입니다. AI는 이러한 증가를 일으키는 주요 요인 중 하나로 꼽힙니다. 모델의 계산 효율을 개선하는 것이 향후 더욱 중요해질 것은 확실합니다.

동일한 성능을 더 적은 계산량과 전력으로 실현해야 합니다.

🔥 반도체에서는 발열과 전력이 제약이 된다

최근까지의 반도체는 트랜지스터를 작게 만듦으로써, 동일한 면적에 많은 회로를 배치하면서도 소비 전력을 억제할 수 있었습니다.

이 경향은 데나드 법칙(Dennard Scaling)으로 알려져 있습니다.

하지만 데나드 법칙의 혜택은 이미 사라지고 있습니다. 트랜지스터 수를 늘린다고 해서 동일한 전력 상태에서 성능이 자동으로 향상되는 것은 아닙니다.

그 결과, 컴퓨터 설계에서는 성능뿐만 아니라 소비 전력과 열 관리가 주요 제약이 되었습니다. 반도체를 미세화하는 것만으로 저렴하게 성능 향상을 얻을 수 있는 시대는 지났습니다.

앞으로는 모델의 구조, 계산 방법, 메모리 액세스(Memory Access), 전용 하드웨어를 조합하여 효율을 개선해야 합니다.

🧠 Transformer는 고성능이지만 계산 효율에 과제가 있다

Transformer의 중심에 있는 것이 Self-Attention입니다.

Self-Attention은 입력된 각 토큰(Token)이 다른 토큰과 어떻게 관계를 맺는지 계산합니다.

이 메커니즘을 통해 모델은 문장 속의 멀리 떨어진 정보를 직접 참조할 수 있습니다.

반면, 시퀀스 길이(Sequence Length)를 (N)이라고 했을 때, 일반적인 Self-Attention의 계산량은 시퀀스 길이에 대해 이차적으로(Quadratic) 증가합니다.

다루는 문장이 길어질수록 계산량과 메모리 사용량이 급격히 늘어납니다.

추론 시에는 과거의 정보를 저장하는 KV 캐시(KV Cache)도 필요합니다.

컨텍스트(Context)가 길어질수록 유지해야 하는 데이터가 늘어납니다. 다만, Transformer의 단점만을 볼 필요는 없습니다.

Transformer에는 다음과 같은 강점이 있습니다.

• 토큰 간의 관계를 직접 계산할 수 있음

• 학습 시 병렬화가 용이함

• 대규모화되었을 때의 성능이 입증됨

• 언어 이외의 이미지, 음성, 영상에도 응용 가능함

• 학습과 추론을 위한 도구들이 성숙해 있음

즉, Transformer는 계산 효율만 생각하면 불리하지만, 모델 성능과 범용성 측면에서는 매우 강력합니다.

가장 중요한 과제는, 이 성능을 유지하면서 계산량만을 줄이는 것이 매우 어렵다는 점입니다.

🐍 Mamba는 시퀀스를 선형 시간으로 처리한다

![[../images/mamba-logo.png]]

Transformer의 대체 후보로 주목받은 아키텍처 중 하나가 Mamba입니다. Mamba는 SSM (State Space Model: 상태 공간 모델)을 기초로 합니다.

Self-Attention이 과거의 토큰을 직접 참조하는 것과 달리, SSM은 입력된 정보를 내부 상태(Internal State)로 반영하며 시퀀스를 처리합니다.

이미지로 표현하자면, 과거의 토큰을 모두 저장하는 것이 아니라, 필요한 정보를 상태로 압축하여 이어가는 메커니즘입니다. 기존의 SSM에는 입력 내용에 따라 정보를 선택하는 데 서툴다는 문제가 있었습니다.

Mamba에서는 SSM의 파라미터를 입력에 따라 변화시킵니다.

이를 통해 모델은 현재의 토큰에 따라 정보를 유지할지 아니면 잊을지를 선택할 수 있습니다.

Mamba의 큰 특징은 시퀀스 길이에 대해 계산량이 선형적으로 증가한다는 점입니다.

Mamba의 원 논문에서는 특정 실험 조건에서 Transformer보다 5배 높은 추론 처리량(Throughput)을 실현했다고 보고되었습니다.

또한, 30억 파라미터 규모의 Mamba가 동일 규모의 Transformer를 능가하고, 2배 규모의 Transformer와 대등한 성능을 보였다고 합니다.

다만, 이 결과가 모든 모델과 하드웨어에서 5배 빨라진다는 것을 의미하지는 않습니다. 논문 속의 모델 구성, 시퀀스 길이, 하드웨어, 구현 방법에 기반한 결과입니다.

여기서 중요한 점은 Mamba가 단순히 계산량을 선형으로 만든 것만이 아니라는 점입니다.

Mamba의 논문에서는 GPU의 특성을 고려한 하드웨어 지향적 병렬 알고리즘도 설계되어 있습니다.

Mamba 그 자체가, 이론적으로 효율적인 모델을 만드는 것만으로는 부족하다는 것을 보여줍니다.

🔄 TTT는 추론 중에 학습한다

제가 현재 공부하고 있는 것이 TTT (Test-Time Training)입니다.

TTT의 발상은 Mamba와는 다릅니다.

일반적인 RNN에서는 고정된 크기의 벡터를 내부 상태로 사용합니다.

TTT에서는 이 내부 상태 그 자체를 머신러닝 모델로 만듭니다.

나아가 입력을 읽어들일 때마다 자기 지도 학습 (Self-Supervised Learning)을 수행하여, 내부 상태인 모델을 업데이트합니다.

즉, TTT는 문장을 읽으면서 추론 중에 학습합니다.

TTT의 원 논문에서는 선형 모델을 내부 상태로 사용하는 TTT-Linear와, 2층 MLP를 사용하는 TTT-MLP가 제안되었습니다.

1억 2,500만에서 13억 파라미터 규모로 Transformer 및 Mamba와 비교되었으며, 긴 컨텍스트를 이용한 언어 모델링에서 경쟁력 있는 결과를 보여주었습니다.

특히 흥미로운 점은 과거의 정보를 저장하는 방법입니다.

Transformer는 과거의 토큰을 KV 캐시 (KV Cache)로 유지합니다.

Mamba는 과거의 정보를 고정된 크기의 상태로 압축합니다.

TTT는 과거의 정보를 내부 모델의 가중치 (Weight)로 학습시킵니다.

TTT는 '기억이란 무엇인가'라는 문제에 대해 Transformer나 Mamba와는 다른 답을 제시하고 있습니다.

한편, TTT에도 과제가 있습니다.

TTT-MLP는 표현력이 높은 반면, 메모리 입출력이 병목 (Bottleneck)이 된다고 원 논문에서 보고되었습니다.

이론적인 계산량이 뛰어나더라도 실제 하드웨어에서 빠르게 동작한다는 보장은 없습니다.

🚧 효율적인 아키텍처가 보급되지 않는 3가지 이유

Mamba나 TTT는 Transformer의 계산 효율에 대한 유력한 해결책입니다.

그럼에도 불구하고 기존의 Transformer를 대체하기에는 이르지 못했습니다.

그 이유는 크게 세 가지라고 생각합니다.

🖥️ 현재의 실행 환경이 Transformer에 최적화되어 있다

첫 번째는 현재의 AI 실행 환경이 Transformer를 효율적으로 구동하기 위해 정비되어 있다는 점입니다.

여기서 말하는 실행 환경에는 GPU뿐만 아니라 다음 요소들도 포함됩니다.

CUDA 커널

행렬 연산 라이브러리

분산 학습 기반

양자화 (Quantization) 기술

추론 서버

모델 변환 도구

머신러닝 프레임워크 (Machine Learning Framework)

NVIDIA는 Transformer의 학습과 추론을 가속화하기 위해 Transformer Engine을 제공하고 있습니다.

Transformer Engine에는 FP8과 같은 저정밀도 연산이나, Transformer에서 사용되는 연산에 최적화된 구현이 포함되어 있습니다.

PyTorch에도 Scaled Dot Product Attention을 빠르게 처리하기 위한 전용 API와 FlashAttention의 백엔드가 내장되어 있습니다.

Transformer의 Self-Attention은 이론상 시퀀스 길이(Sequence Length)에 대해 이차(Quadratic)의 계산량을 가집니다. 하지만 FlashAttention은 GPU 내부의 메모리 계층을 고려하여 데이터 전송을 줄임으로써 실행 속도를 개선했습니다.

이는 이론적인 계산량만으로는 실제 속도를 판단할 수 없음을 보여줍니다.

Mamba-3 논문에서도 선형 모델(Linear Model)은 이론적으로 효율적일지라도, 실제 하드웨어 상에서는 비효율적일 수 있다고 지적하고 있습니다.

새로운 아키텍처가 등장할 경우, 해당 모델 전용의 빠른 계산 커널(Kernel)도 개발해야 합니다.

아키텍처 연구와 시스템 구현 연구를 동시에 진행해야 합니다.

💰 Transformer로부터의 전환 비용이 높음

두 번째는 전환 비용입니다.

현재의 AI 기업들은 Transformer를 전제로 한 많은 자산을 보유하고 있습니다.

사전 학습된 모델 (Pre-trained Model)

학습 데이터 처리 기반

분산 학습 노하우

추론 인프라

모델 평가 방법

장애 대응 체계

Transformer에 정통한 엔지니어

새로운 아키텍처를 채택할 경우, 단순히 모델 코드를 다시 쓰는 것만으로 끝나지 않습니다.

학습을 안정화하는 방법을 조사하고, 전용 커널을 준비하며, 분산 학습을 검증하고, 추론 기반에 통합해야 합니다.

나아가 수천억 토큰 규모로 학습하지 않으면 기존의 Transformer와 공정하게 비교할 수 없는 경우도 있습니다.

대규모 실험에는 많은 GPU, 전력, 시간, 자금이 필요합니다.

그렇기 때문에 새로운 아키텍처에는 다음과 같은 악순환이 발생합니다.

실적이 적기 때문에 채택되지 않음

채택되지 않기 때문에 최적화가 진행되지 않음

최적화되지 않기 때문에 실측 성능이 늘지 않음

실측 성능이 늘지 않기 때문에 채택되지 않음

하지만 "대기업이 새로운 아키텍처를 연구하지 않는 것"은 아닙니다.

실제로 연구는 계속되고 있습니다.

문제는 연구 성과를 실제 서비스용 대규모 모델로 전면 이행하는 리스크가 높다는 점입니다.

기업 입장에서는 이론적인 효율보다 확실하게 학습할 수 있고 안정적으로 운용할 수 있는 것이 중요합니다.

🎯 Transformer는 모델 성능 면에서 여전히 강력함

세 번째는 Transformer의 성능입니다.

계산량이 적은 것과 모델로서 성능이 높은 것은 동일하지 않습니다.

Self-Attention은 입력 내의 토큰들끼리 직접 비교할 수 있습니다.

과거의 정보를 고정된 크기의 상태(State)로 압축할 필요가 없기 때문에, 필요한 정보를 컨텍스트(Context)에서 추출하기 쉽다는 강점이 있습니다.

Mamba 원 논문에서도 과거에 제안된 선형 시간 모델은 언어에 필요한 내용 의존적(Content-dependent) 추론에서 Attention에 미치지 못했다고 설명하고 있습니다.

TTT 논문에서는 TTT-Linear와 TTT-MLP는 긴 컨텍스트를 활용함으로써 성능을 계속 개선한 반면, 실험한 Mamba는 16K 토큰 이후에 개선이 멈췄다고 보고되었습니다.

Mamba-3 논문에서도 최근의 선형 모델이 효율성을 대가로 상태 추적(State Tracking) 등의 능력을 상실하는 경우가 있다고 지적합니다.

Transformer가 완벽한 것은 아닙니다.

하지만 계산 효율, 모델 성능, 학습 안정성, 구현 성숙도를 종합하면 여전히 강력한 선택지입니다.

새로운 아키텍처는 Transformer보다 효율적일 뿐만 아니라, Transformer의 능력을 유지해야 합니다.

🚀 Mamba-3와 TTT-E2E로 연구는 더욱 진전되고 있음

Transformer를 대체하기 어렵다고 해서 새로운 아키텍처 연구가 멈춘 것은 아닙니다.

Mamba와 TTT는 각각 다음 단계로 나아가고 있습니다.

🐍 Mamba-3는 이론과 실측 성능의 차이를 줄이려 하고 있음

Mamba-3는 2026년 3월에 발표되었습니다.

Mamba-3에서는 추론 시의 효율을 중시하면서도, 선형 모델이 취약했던 상태 추적 능력의 개선을 목표로 하고 있습니다.

주요 변경점은 다음 세 가지입니다.

SSM의 이산화 (Discretization)에 기반한, 보다 표현력이 높은 재귀 구조

복소수 (Complex number)를 이용한 상태 업데이트

다중 입출력을 다루는 MIMO 구조

논문에서는 15억 파라미터 규모에서 비교 대상이 된 선형 모델보다 평균 정확도를 개선했다고 보고되었습니다.

또한, Mamba-2의 절반 수준의 상태 크기(State size)로 동등한 수준의 Perplexity를 실현했다고 합니다.

Mamba-3가 중시하고 있는 것은 계산량의 표기뿐만이 아닙니다.

모델 성능과 실제 추론 효율 모두를 개선하는 것입니다.

이는 차세대 아키텍처가 보급되기 위해 필요한 방향성이라고 생각합니다.

🔄 TTT-E2E는 장문 처리를 지속 학습으로 재정의했다

TTT-E2E (End-to-End Test-Time Training)는 2025년 12월에 발표되었습니다.

TTT-E2E는 새로운 층을 설계하는 것이 아니라, 긴 컨텍스트 (Context) 처리를 지속 학습 (Continual Learning)의 문제로 파악합니다.

모델의 기본 구조에는 Sliding Window Attention을 가진 Transformer를 사용합니다.

그 위에서 추론 중에 다음 토큰 예측 (Next-token prediction)을 수행하며, 읽어들인 컨텍스트를 모델의 가중치 (Weights)로 압축합니다.

학습 시에는 추론 중의 학습에 적합한 초기 상태를 획득하기 위해 메타 학습 (Meta-learning)을 수행합니다.

논문에서는 30억 파라미터 모델을 1640억 토큰으로 학습한 실험에서, Full Attention Transformer와 마찬가지로 컨텍스트 길이를 늘림으로써 성능이 향상되었다고 보고되었습니다.

동시에 추론 레이턴시 (Latency)는 컨텍스트 길이에 의존하지 않으며, 128K 컨텍스트에서는 Full Attention보다 2.7배 빨랐다고 합니다.

TTT-E2E에서 흥미로운 점은 Transformer를 완전히 부정하지 않는다는 점입니다.

기존의 Transformer 구조를 이용하면서 정보의 기억 방식을 변경하고 있습니다.

차세대 아키텍처는 Transformer를 한 번에 대체하는 것이 아니라, 일부 메커니즘을 바꾸며 진화할 가능성이 있습니다.

💡 AI 아키텍처는 하드웨어와 세트로 맞물려야 비로소 빛을 발한다

Mamba나 TTT를 조사하면서 저의 인식은 바뀌었습니다.

처음에는 이론적인 계산량이 작고 벤치마크 성능이 높다면 자연스럽게 새로운 아키텍처로 이행될 것이라고 생각했습니다.

하지만 실제로는 그렇지 않습니다.

AI 아키텍처의 효율은 다음 요소들에 의해 결정됩니다.

연산 횟수

메모리 사용량

메모리 간 데이터 전송량

병렬 처리의 용이성

전용 커널 (Kernel)의 완성도

사용하는 GPU와의 상성

분산 학습의 용이성

추론 인프라로의 통합 용이성

동일한 계산량으로 얻을 수 있는 모델 성능

계산량이 $O(N)$이라는 이유만으로 $O(N^2)$ 모델보다 빠르다고 단정할 수는 없습니다.

GPU의 연산기를 충분히 사용하지 못하거나 메모리 액세스가 많아지면 이론적인 이점은 사라집니다.

반대로 Transformer처럼 이론적으로는 계산량이 큰 모델이라도, 전용 커널과 하드웨어 최적화를 통해 고속으로 동작하는 경우가 있습니다.

제가 얻은 가장 큰 깨달음은 다음 한 문장으로 요약할 수 있습니다.

AI 아키텍처는 수식만으로는 완성되지 않으며, 하드웨어와 소프트웨어를 포함한 시스템으로서 비로소 완성됩니다.

새로운 모델을 연구할 때는 이론뿐만 아니라 실제로 어떤 연산이 발생하는지를 보아야 합니다.

FLOPs뿐만 아니라 메모리 입출력, 병렬성, 커널 구현, 실측 레이턴시까지 확인해야 합니다.

![[../images/transformer-empower.png]]

📝 요약

왜 Transformer를 뛰어넘는 아키텍처는 보급되지 않는 것일까요?

그 답은 Transformer를 뛰어넘을 후보가 존재하지 않기 때문이 아닙니다.

Mamba나 TTT는 긴 시퀀스를 효율적으로 다루기 위한 새로운 방법을 제시하고 있습니다.

하지만 새로운 아키텍처가 보급되려면 다음 조건들을 동시에 만족해야 합니다.

Transformer에 근접한 모델 성능을 가질 것

이론뿐만 아니라 실측에서도 빠르게 동작할 것

대규모 학습에서 안정적일 것

기존 GPU를 효율적으로 이용할 수 있을 것

학습·추론 인프라에 용이하게 통합될 수 있을 것

이행 비용을 상회하는 이점을 보여줄 것

Transformer는 단순한 뉴럴 네트워크 구조가 아닙니다.

하드웨어, 프레임워크, 학습된 모델 (Pre-trained Models), 엔지니어의 지식을 포함하는 거대한 생태계입니다.

따라서 차세대 아키텍처는 "Transformer를 완전히 버리는 아키텍처"가 아닐지도 모릅니다.

Transformer, SSM, TTT 등의 메커니즘을 결합한 하이브리드 모델(Hybrid Model)이나, 특정 하드웨어와 동시에 설계된 모델이 주류가 될 가능성이 있습니다.

저 또한 TTT를 중심으로 차세대 AI 아키텍처를 공부하고 연구하고 있습니다.

앞으로는 TTT의 메커니즘과 구현, Mamba와의 비교, 실제 하드웨어에서의 속도에 대해서도 검증해 나갈 예정입니다.

새로운 AI 아키텍처나 Transformer 다음 단계에 관심이 있으신 분들은 팔로우해 주시면 감사하겠습니다.

📚 참고 자료

Albert Gu, Tri Dao, “Mamba: Linear-Time Sequence Modeling with Selective State Spaces”

Yu Sun et al., “Learning to (Learn at Test Time): RNNs with Expressive Hidden States”

Aakash Lahoti et al., “Mamba-3: Improved Sequence Modeling using State Space Principles”

Arnuv Tandon et al., “End-to-End Test-Time Training for Long Context”

Tri Dao et al., “FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness”

International Energy Agency, “Energy and AI”

NVIDIA, “Transformer Engine Documentation”

Discussion