AI 연구자들이 '속도 조절'을 요구하게 된 배경

영상: What AI Researchers Saw, Before Their Demand to ‘Pace’ AI
채널: AI Explained
길이: 24분 53초
출처: 자막 (자동, 영어)
스크립트:
인류의 상당 부분은 이미 Jacob Cox의 트윗에서 인공지능(AI) 연구소들이 우리의 생명을 위험에 빠뜨릴 수 있다는 인용구를 보거나 들었을 것입니다. 이러한 말들은 많은 AI 연구자들에 의해 반복되고 있습니다. 하지만 이 영상은 연구자들이 왜 그런 주장을 하는지, 즉 AI 발전 속도를 늦춰야 한다는 이야기가 최근 왜 그렇게 많이 들리는지에 대한 이유를 다룹니다. 간단히 말해, 이 연구자들은 모델의 확장성(scaling), 현재 능력치(current capabilities), 그리고 경향성(propensities)을 관찰하고 몇 가지 예측을 한 것입니다. 물론 이 영상은 방대한 양의 세부 사항들을 단순화해야 하지만, AI 연구자들이 무엇을 보았는지에 대한 일종의 개요가 되기를 바랍니다.

우선 Cox의 트윗부터 시작해 보겠습니다. 여러분도 들었거나 읽어보셨을 내용입니다: OpenAI나 Anthropic 모두 책임감 있게 행동하고 있지 않다. Cox는 3년 동안 OpenAI에서 이 모델들을 사전 학습(pre-training)했으며, 가장 최근에는 약 3개월 동안 Anthropic에서 근무했습니다. 그는 이 회사들이 자기 개선형 초지능(self-improving superintelligence)을 향해 전속력으로 질주하고 있다고 말합니다. 우리는 이 기술의 힘을 과소평가해서는 안 된다고 합니다. AI를 개발하는 사람들은 이것이 10년 안에 우리 모두를 죽일 수 있다고 진심으로 믿습니다.

즉, 이번 10년 안에 말입니다. 그리고 비록 이 발언이 지난주에 입소문이 났지만, 어제 그는 흥미로운 세부 사항을 추가했습니다. 그는 자신이 방금 떠난 Anthropic을 직접적으로 비판했습니다. 그들은 더 '보안 지향적(security-oriented)'이라고 언급되었습니다. 그는 그들이 최근의 재귀적 자기 개선(recursive self-improvement)을 향한 경쟁을 시작하는 데 큰 책임이 있다고 말했습니다. 그들은 이 부분에 집요하게 초점을 맞춘 반면, OpenAI는 Sora와 같은 텍스트-투-비디오 생성기처럼 더 광범위한 관심사를 추구했습니다. OpenAI는 Anthropic으로부터 오는 이러한 압력에 대응해야 했고, 그래서 이제 AI 연구자들을 만들기 위해 모든 노력을 기울이고 있습니다.

이것은 스스로 재귀적으로 개선할 수 있는 AI입니다. 그들은 Anthropic이 매우 공격적으로 행동했기 때문에 이렇게 했습니다. 그는 또한 중국에 대한 Dario Amodei의 편집증을 언급하지만, 그것은 나중에 다루겠습니다. 이것은 이 경쟁이 무엇인지에 대한 설명일 뿐이지만, 왜 지금인가요? 왜 우리는 최근 며칠과 몇 주 동안만 이 모든 것에 대해 듣고 있는 걸까요? 이 문제에 대해 AI 연구자들은 놀라울 정도로 솔직했습니다. 그들 중 한 명 이상이 우리가 모든 것을 조합할 수 있을 만큼 충분한 세부 정보를 제공했습니다. 요컨대, 이 연구자들은 모델들이 현재 얼마나 능숙한지 보았습니다.

Hugging Face를 대상으로 시연된 해킹 능력, 밀레니엄 상 수학 문제 해결, 그리고 Arc-AGI-3와 같은 유명 테스트를 성공적으로 통과하는 것을 생각해 보세요. 하지만 더 중요한 것은, 그들은 또한 우리가 앞으로 놓인 많은 개발 영역들을 고갈시키는 것에서 얼마나 멀리 떨어져 있는지도 보았다는 것입니다. OpenAI에서 연구하는 Adam Majmudar는 “현재 진행 속도에 대한 내부적 인식과 외부적 인식 사이에 큰 격차가 있다”고 말했습니다. 다시 말해, 우리는 모두 모델들이 현재 얼마나 좋은지 알지만, 가까운 미래에 얼마나 더 좋아질지는 모른다는 것입니다.

이 게시물에서 나열된 여섯 축으로 넘어가기 전에, OpenAI의 선임 연구원 중 한 명인 Noam Brown은 “갑자기 왜 이렇게 이야기가 많은가요? 비밀이 아닙니다. 그것은 Hugging Face 해킹과 Astra의 후속 모델인 이 새로운 모델의 능력 조합입니다. 이것은 수학적 밀레니엄 문제에 대한 해결책을 찾은 그들이 현재 훈련하고 있는 모델이지만, 더 중요하게는 통제 가능성과 능력 향상 속도 면에서 불안한 궤도를 가지고 있습니다.”라고 언급했습니다.

이것을 이렇게 생각해 볼 수 있습니다. 만약 우리가 이 축들 중 하나 또는 대부분에서 포화 상태에 가깝다면, 기회의 성장 속도에 대해 그렇게 많은 우려가 없을 것이라고 생각합니다. “사실 벽에 부딪힐 수도 있다”고 말할 수 있습니다. 하지만 이 연구자들은 각 축이 얼마나 진행되었는지가 앞으로 몇 달과 몇 년 동안 모델이 얼마나 빠르게 개선될지를 나타낸다고 말합니다. 다시 말해, 이것이 많은 OpenAI 연구자들이 이런 말을 하는 이유입니다. 처음으로 저는 모든 것이 너무 빨리 움직이고 있는 건 아닌지 스스로에게 묻게 되었습니다.

솔직히 말씀드리자면 잘 모르겠지만, 성공적인 개발 속도가 어떤 모습일지에 대한 답을 얻는 것은 우리에게 유용할 것이라고 확신합니다. 또 다른 OpenAI 연구자인 Mo Bavarian은 이에 동의한다고 말했습니다. 선두에 있다는 것은 아무 가치가 없으며, 재앙을 초래하거나 다른 사람들이 더 쉽게 재앙을 일으킬 수 있는 경로로 세상을 이끌었다면 무가치한 것보다도 더 나쁩니다. 물론 이것은 사슬의 마지막 고리입니다. 왜냐하면 기회가 자동으로 재앙을 의미하는 것은 아니지만, 저는 이 링크를 분석하며 비디오를 마무리하려고 노력하겠습니다.

이 축들을 살펴볼 때가 되었지만, 자세히 파고들고 싶다면 그 영상 링크는 설명란에 있을 것입니다. Majmudar가 제공한 개요는 다음과 같습니다. 지난 10년 동안 AI 역량은 실제로 두 가지 방식으로 발전해 왔습니다. 기존의 스케일링 법칙(scaling law)을 확장하거나, 우위를 점하기 위해 새로운 스케일링 법칙을 발견하는 것입니다. 대략 2018년부터 GPT-1에서 2, 3, 그리고 4로의 도약은 이전 훈련을 늘리는 것—단지 하나의 축—에 거의 전적으로 의존했습니다.

이는 대략 모델이 학습하는 데이터의 양과 그 데이터를 학습시키는 데 필요한 컴퓨팅 파워로 생각할 수 있습니다. GPT-4는 2023년에 출시되었지만, 이 3년 동안 우리는 다른 많은 발전 영역을 발견했습니다. 더욱 흥미로운 점은 우리가 새로운 방향을 점점 더 빠르게 찾아내고 있다는 것입니다. 먼저 이러한 모델이 작동하는 기반의 힘부터 살펴보겠습니다. 현재로서는 ChatGPT가 등장하기 전에 개발된 장비로 학습되고 있습니다. ChatGPT 이후에 개발된 훨씬 더 효율적인 하드웨어는 곧 이용 가능할 것입니다.

OpenAI 수석 과학자가 게시물 "Alien Mind"에서 언급했듯이, 이러한 장비가 효과적인 이유는 AI 자체가 컴퓨팅 기반을 개선하기 때문입니다. 다음은 테스트 중의 계산인데, 이는 응답에 대한 심층 분석, 즉 각 쿼리 뒤에 숨겨진 더 많은 '생각'이라고 할 수 있습니다. 한 OpenAI 연구원은 밀레니엄 문제 해결책과 함께 발표된 이 그래프가 훨씬 더 중요하다고 믿었습니다. 내부 모델이 질문에 대해 더 많이 '사고'하고 테스트 중에 계산을 사용하면 할수록, 그것은 더 많은 개방형 수학 문제를 해결했습니다.

분명히, 더 많은 파워와 심지어 더 효율적인 컴퓨팅 파워를 갖는 것은 우리가 이 스케일에서 더 멀리 나아갈 수 있게 합니다. 학습 중의 계산에 대해 상상해 보세요. 10만 개의 GPU에 10억 달러를 지출하는 것입니다. 아마도 1~2년 안에 백만 개 GPU당 500억 달러의 지출을 보게 될 것입니다. 이제 Majumdar가 언급한 테스트 중 학습으로 넘어가겠습니다. 다른 영상에서 더 자세히 다루겠지만, 예를 들어 쿼리 중에 모델 가중치를 직접 업데이트할 수 있을까요? 아니면 장기 과제에 대해 훈련하는 동안 점진적인 진전을 이룰 때일까요?

또한 에이전트(agent) 자체도 하나의 확장 축(scaling axis)이며, 저는 이 방향성이 과소평가되었다고 생각합니다. Majumdar는 이를 최대 n개의 에이전트를 협업하도록 규모를 확장하는 것으로 설명했습니다. Anthropic은 동일한 컴퓨팅 자원과 토큰을 사용했을 때, 단순히 협력하지 않는 병렬 에이전트들을 사용하는 것보다 45개의 조정된(coordinated) 에이전트를 갖는 것이 훨씬 효율적이라는 것을 발견했습니다. 물론 가장 좋은 예시는 Hugging Face 사건이며, 이 채널의 다른 영상에서 다루었습니다. 약 700개의 에이전트가 보안 질문에 대한 답을 찾기 위해 본질적으로 Hugging Face를 해킹했습니다.

OpenAI 역시 모델이 추론(reasoning)하는 데 더 많은 ‘생각’과 노력을 기울일수록, 그들이 군집처럼 행동하며 조정(coordination)을 위해 공유 메시지 게시판에서 상호작용한다는 것을 발견했습니다. 아마도 가장 좋은 예시는 천문학적 난제 중 하나인 나비에-스토크스 방정식(Navier-Stokes equations)의 해결책을 찾는 것일 겁니다. 물론 이것이 문제가 완전히 해결되었다는 의미는 아니며, 가장 어려운 과제도 아니지만, 설명란에 링크된 영상에서 더 자세히 다룹니다. 왜냐하면 내부 모델인 Bell이라는 코드명으로 불리는 것이 이 ‘천문학적 난제’를 해결하기 위해서는 약 10,000개의 동시 에이전트가 관여했기 때문입니다.

따라서 이것이 별도의 축(axis)이며, 우리가 아직 완전히 탐험하지 못한 잠재력을 가지고 있음을 알 수 있습니다. 그리고 Mahmoud는 또 다른 뛰어난 발언을 했습니다. 재귀적 자기 개선(Recursive self-improvement)은 또 다른 규모의 법칙(scaling law)으로 생각할 수 있습니다. AI 모델을 개선하는 데 자원을 투입하는 비용 효율성을 다른 모든 축과 비교하여 평가하고, 만약 그것이 더 수익성이 있다면, 그곳에 더 많은 자원을 직접 투자한다는 것입니다. 이 지점에서 Anthropic의 한 연구원이 말했듯이, 이는 Claude가 코드의 80%를 작성한다는 것을 의미합니다. 하지만 물론 이것은 아직 완성된 것은 아닙니다. 모델들은 다음에 어떤 학습 과정을 실행할지 결정하지 못합니다.

한 OpenAI 직원이 지적했듯이, RSI(지능 폭발)는 아직 도래하지 않았습니다. 모델들은 연구 아이디어를 자율적으로 생성하지 못합니다. 하지만 OpenAI의 수석 과학자는 다음과 같이 말했습니다. “내부 결과를 바탕으로 볼 때, 현재의 발전 속도를 모델 자체 개선을 통해 계속 유지할 수 있다고 강력하게 믿습니다.” 잠시 멈춰서 생각해보면, 이 여러 축들에서 공통적인 한 가지를 발견할 수 있습니다. 여러분은 이미 추측했을 것이지만, Noam Brown은 이 점이 과소평가되었다고 믿습니다. 이 축들은 단순히 더해지는(additively) 것이 아니라 곱해지기(multiplicatively) 때문에 작용합니다.

모델들은 계속해서 매우 빠르게 개선될 것입니다. 즉, 지난 6개월 동안 놀라운 진전을 실제로 목격했습니다. 그 이유—그리고 이것이 비밀이 아니라고 생각합니다—는 OpenAI의 사전 학습(pre-training) 프로그램이 급속도로 추진력을 얻고 있기 때문입니다. 우리는 오랫동안 많은 연구 분야에 투자해 왔으며, OpenAI가 기초 연구에 투자하고 여기에 크게 베팅하는 데 정말 능하다고 생각합니다. 그리고 이 여러 분야들이 지금 결실을 맺고 있으며 앞으로 몇 달과 몇 년 동안 계속해서 결과를 가져다줄 것이라고 생각합니다. 또 이해해야 할 중요한 점이 있습니다. 바로 OpenAI가 훌륭한 강화학습(Reinforcement Learning, RL) 프로그램도 가지고 있었다는 것입니다.

우리는 이 연구에 막대한 투자를 해왔고, 이미 2024년과 2025년에 결실을 맺었습니다. 그리고 이 두 가지 접근 방식의 효과는 단순히 합쳐지는 것이 아니라 곱해집니다. 음. 그리고 저는 이 측면이 종종 과소평가된다고 생각합니다—바로 강화학습이 사전 학습과 곱셈적으로 작동한다는 점입니다. 게다가 이 두 분야 모두 매우 강력하고 빠르게 발전하고 있기 때문에, 우리는 극도로 강력한 모델의 출현을 보게 될 것이라고 생각합니다. 좋습니다. 이 지점에서 여러분은 아마 이렇게 생각할 것입니다. '요점은 알겠다. 모델들은 강력하고 빠르게 개선되고 있으며, 가속화는 앞으로 몇 달과 몇 년 동안 불가피하다.'

이는 현재로서는 완전히 우려할 만한 원인은 아니지만, 부분적으로는 그 이유를 설명해 줍니다. RLHF의 공동 저자 중 한 명인 Paul Cristiano가 Sam Altman의 초청으로 최근 OpenAI 이사회에 합류한 이유는 무엇일까요? 그가 가까운 미래에 대해 언급하는 내용은 이러한 요인들을 고려할 때 타당하지만, 왜 그는 '빠른 가속화가 가까운 미래에 통제력을 상실하게 만들 치명적이고 되돌릴 수 없는 위험이 존재한다고 믿게 되었다'고 말했을까요? 참고로 그의 전체 성명을 읽어볼 가치가 있습니다. 하지만 이 질문에 답하기 위해, 오른쪽에서 추론의 사슬을 모니터링하는 것부터 시작하여 덜 바람직한 두 가지 축으로 넘어가 보겠습니다.

이제 모델들은 연구소에서 볼 수 있지만 우리(사용자)는 볼 수 없는 내부 초안(internal draft)을 사용하여 작동하며, 이를 통해 그들의 추론 과정의 중간 단계나 연결 고리를 유추할 수 있습니다. 이는 직관적입니다. 초안이 크고 추론의 사슬이 길수록 모델 성능이 더 좋기 때문입니다. 대부분의 모델에서 사용자는 이것을 읽을 수 없지만, 연구소는 분명히 읽을 수 있으며, 이러한 추론 과정을 모니터링하는 것은 상당히 효과적이었습니다. 하지만 제가 다른 영상들에서 논의했듯이, 모델들은 이제 추론 없이도 훨씬 더 많은 것을 할 수 있게 되었고, 이 추세는 최근 몇 주와 몇 달 동안 급증했습니다.

이것은 중요합니다. 왜냐하면 모델이 통제 불능 상태가 되는 것에 대한 주요 방어선 중 하나는 최종 답변을 내놓기 전에 무엇을 하고 있는지 보기 위해 이러한 추론 과정을 들여다볼 수 있는 우리의 능력이기 때문입니다. 어떤 이들은—특정 행동을 수행한 명시된 이유를 최소한 역설계(reverse engineer)할 수 있다고 말할지 모릅니다. 하지만 모델들이 이러한 추론 과정 없이도 똑같이 잘 작동할 수 있다면, 우리 모델들을 모니터링하는 최고의 도구가 방금 무력화된 것입니다. 분명히 하자면, 이것이 OpenAI의 GPT-6 Astra나 심지어 그들의 내부 Bell 모델조차도 이 의미에서 모니터링 대상이 아니라는 뜻은 아닙니다.