루프형 트랜스포머를 끝낼 수 있는 새로운 AI 추론 방식, CRAM 소개
연구자들이 루프형 트랜스포머(looped transformers)의 종말을 가져올지 모르는 논문을 발표했습니다.
그들은 1980년대의 오래된 신경망(neural network)을 가져와 42밀리초 만에 재훈련시켰는데, 이 모델은 추론(reasoning) 측면에서 최신 트랜스포머보다 1,000배 빠릅니다.
현재 AI에게 어려운 문제를 해결하도록 시키려면 "루프형 모델(looped model)"을 사용합니다. 퍼즐을 풀기 위해 AI는 한 단계를 예측하고, 그 결과를 다시 입력으로 넣어 다음 단계를 예측하는 과정을 반복합니다.
이 방식은 작동하지만, 엄청나게 비효율적입니다. 훈련에 막대한 컴퓨팅 자원(massive compute)이 필요하며 실행 시에는 상상할 수 없는 양의 FLOPs를 소모합니다.
그런데 최근 새로운 논문에서 AI가 생각하는 완전히 다른 방식을 소개했습니다.
그것은 CRAM (Compact Reasoning Associative Memory)이라고 불립니다.
CRAM은 루프 속에서 다음 단계를 맹목적으로 예측하는 대신 "고전 에너지(Classical Energies)"를 사용합니다.
이 모델은 문제에 접근하여 "에너지 지형도(energy landscape)"를 학습합니다. 그런 다음, 가장 낮은 에너지 상태를 향해 자연스럽게 하강합니다. 단순히 예측하기만을 바라는 것이 아니라, 올바른 답을 능동적으로 탐색합니다.
그 결과는 AI 효율성에 대한 수학적 계산 자체를 다시 쓰게 만듭니다:
• 루프형 모델보다 최소 1,000배 빠르게 훈련됩니다.
• 정확도는 동일하게 유지하면서 추론 시 FLOPs 사용량을 282배 줄입니다.
• 극도의 난이도를 가진 수수께끼(Sudoku) 논리 퍼즐의 99.996%를 해결합니다.
• 컴퓨팅 자원이 난이도에 따라 자동으로 적응하며, 해답을 찾는 순간 탐색이 정확히 멈춥니다.
하지만 가장 놀라운 점은 이겁니다.
CRAM 내부를 들여다보면 블랙박스가 아닙니다. 명시적인 에너지 상태(explicit energy states)를 통해 학습하기 때문에, 실제로 AI를 열어 학습된 가중치(learned weights)를 검사할 수 있습니다. AI는 퍼즐의 정확한 "규칙"을 명시적으로 학습하며, 우리는 그것들을 문자 그대로 읽어낼 수 있습니다.
우리는 지난 1년 동안 언어 모델이 논리적 추론까지 루프를 통해 도달하도록 강제하기 위해 막대한 GPU 클러스터에 수십억 달러를 쏟아부었습니다.
하지만 이 논문은 AI에게 어떻게 추론하는지 가르치기 위해 거대한 슈퍼컴퓨터가 필요하지 않다는 것을 증명합니다.
단지 더 나은 물리학(better physics)만 있으면 됩니다.