🔁 오픈AI 아스트라의 순환 깊이는 층을 새로 쌓는 대신 같은 층을 한 번 더 통과 시키는 방식이다.
디인포메이션이 9월 1일 아스트라가 이 방식을 쓴다고 보도했고, 오픈AI 수석과학자 야쿠프 파초키는 다음 날 부인하지 않았다. 대신 되돌리는 횟수가 많지 않다고만 했다. 이게 무슨 뜻인지 알려면 AI 모델이 어떻게 생겼는지부터 봐야 한다.
AI 모델은 층을 쌓아 만든다. GPT-3는 96층이다. 글자를 넣으면 1층부터 96층까지 한 번씩 지나가고, 다 지나면 다음 단어 하나가 나온다. 층을 하나 지날 때마다 그 글자를 나타내는 숫자 뭉치가 조금씩 다듬어진다.
층마다 따로 정답이 있는 건 아니다. 정답은 맨 끝에 하나뿐이다. 다음 단어가 맞았느냐. 틀리면 그 차이를 96개 층 전부에 되돌려 보내 가중치를 조금씩 고친다. 37층이 무엇을 해야 하는지는 아무도 정해주지 않는다.
🔍 되돌려 쓰기는 층을 절반만 만든다.
실제 사례가 있다. 중국 난베이지가 7월 27일 공개한 3B 모델은 층을 22개만 만들었다. 글자를 그 22층에 통과시키고, 나온 결과를 다시 1층 입구에 넣어 한 번 더 돌린다. 계산은 44층을 지난 것과 같고, 저장해 둔 가중치는 22층어치다. 가중치 메모리는 그대로이고 계산만 두 배다.
44층짜리를 22층으로 줄인 게 아니다. 처음부터 두 바퀴 돌린 뒤에 답이 맞아야 한다는 조건으로 훈련시킨 다른 모델이다. 두 번째 바퀴는 첫 바퀴가 다듬어 놓은 상태를 입력으로 받으니까, 같은 층이라도 하는 일이 다르다.
여기까지가 "루프 트랜스포머"의 전부다. 새 기술이 아니다. 같은 층을 되돌려 쓰는 생각은 2018년 구글의 유니버설 트랜스포머까지 거슬러 가고, 지금 이름으로 정리한 건 KAIST 배상민·윤세영 팀이 구글 딥마인드와 함께 2025년 7월에 낸 논문 Mixture-of-Recursions다. 저자 11명 중 넷이 KAIST이고, 연구비는 한국 정부 과제에서 나왔다.
같은 이름 아래 두 갈래가 있고, 돈 계산이 반대다.
난베이지는 모든 토큰을 예외 없이 두 바퀴 돌린다. 계산이 두 배다. KAIST 논문은 토큰마다 작은 판정기를 붙여 한 바퀴에서 끝낼지, 두 바퀴 돌릴지, 세 바퀴 돌릴지 정한다. 쉬운 토큰은 한 바퀴에서 빠지고 어려운 토큰만 끝까지 간다. 그러면 평균 계산량이 오히려 줄 수 있다. 아스트라가 어느 쪽인지는 알려진 게 없다.
그런데 토큰이 줄고 기록이 사라진다는 얘기는 어디서 나왔나.
지금 추론 모델이 어려운 문제를 푸는 방법은 하나다. 먼저 A를 확인하고, B는 아닌 것 같고, 같은 문장을 실제로 수천 단어 써 내려간다. 그 단어 하나하나가 모든 층을 다시 지난다. 그리고 단어를 하나 고를 때마다 정보를 버린다. 층 안에서 돌던 숫자 뭉치는 수천 개짜리 배열인데, 단어는 20만 개 후보 중 하나다. 수천 개를 하나로 좁히고 나머지는 버린다.
모델이 깊을수록 단어를 뱉기 전에 더 많이 다듬는다. 그래서 같은 문제를 더 적은 단어로 푼다. 오픈AI가 9월 1일 발표문에 아스트라가 GPT-5.6 Sol보다 토큰을 훨씬 적게 쓴다고 적은 게 이 대목이다.
여기서 중요한 게 하나 있다. 이건 되돌려 쓰기만의 성질이 아니다. 머신러닝 연구자 세바스티안 라슈카가 9월 2일에 짚었듯이, 층을 되돌려 쓰는 건 층을 새로 쌓는 것과 같은 일이다. 22층 두 바퀴는 44층 하나와 같은 물건이고, 44층 모델이 생각을 글로 적는 데 아무 문제가 없다. 층을 더 쌓아도 뱉는 단어는 똑같이 줄어든다. 그러니 "생각을 가리는 새 기법"이라는 보도의 틀 자체가 어긋나 있다. 안전 연구자들이 걱정하는 건 되돌리는 횟수를 수십 번으로 늘려 사람이 읽을 기록이 아예 사라지는 미래인데, 파초키는 아스트라의 계산 깊이가 GPT-4의 두 배 안이라고 했다. 난베이지의 두 바퀴와 같은 수준이다.
⚖️ 대신 잃는 게 둘 있다.
첫째, 아는 게 줄어든다. 가중치가 절반이면 모델이 외우고 있는 지식도 대체로 절반이다. 층을 되돌려 쓰는 건 계산만 늘리고 기억 용량은 안 늘리는 일이다.
둘째, 더 돌린다고 계속 좋아지지 않는다. 난베이지 기술보고서는 두 바퀴가 가장 좋았고 그 이상은 이득이 거의 없이 훈련만 훨씬 느리고 비싸졌다고 밝혔다. 되돌리는 횟수를 무한정 늘린다는 공포는 이 숫자와 부딪힌다.
투자로 바뀌는 건 하나다. 뱉는 단어가 줄면 그 단어마다 붙던 메모리(KV 캐시)도 줄고, 토큰 수로 AI 수요를 재던 방식이 흔들린다. 다만 메모리를 파는 만큼 다 팔리는 2027년까지는 덜 써도 값에 안 닿는다고 본다. 웬만하면 된다. 칩 계산 수요는 아스트라가 난베이지 쪽이면 늘고 KAIST 쪽이면 줄어서, 지금은 방향을 못 정한다. 이 판단이 틀리는 건 앤스로픽이나 구글이 올해 안에 내놓는 다음 모델에서 같은 구조를 쓰고, 오픈AI가 후속 모델의 계산 깊이를 GPT-4의 두 배 밖으로 올릴 때다.
팩트 출처: The Information 9월 1일, OpenAI 「Path to Astra」 9월 1일, 야쿠프 파초키 X 9월 2일, 세바스티안 라슈카 블로그 9월 2일, Nanbeige4.2-3B 기술보고서(arXiv 2607.22083) 7월 27일, Bae 외 「Mixture-of-Recursions」(arXiv 2507.10524, NeurIPS 2025).
#recurrent #depth #astra #gpt #openai
Holy, Astra is build different: OpenAI’s Astra model reportedly uses “recurrent depth” to improve coding and computer-use performance, by sacrificing visibility into how AI reasons.
Recurrent depth processes text through the same model layers multiple times, potentially allowing smaller models to p