NVIDIA의 새로운 무료 AI - 우리 모두를 위한 선물

비디오: NVIDIA의 새로운 무료 AI - 우리 모두를 위한 선물
채널: Two Minute Papers
재생 시간: 7분 51초
출처: 자막 (자동 생성, 영어)

전사(Transcript):
이 AI는 Neotron 3 Super가 아닙니다. 아니요, 이것은 Neotron 3 Ultra로, NVIDIA의 최신 무료 및 오픈 AI (open AI) 모델입니다. 저는 이것을 보며 기쁘기도 하고, 실망하기도 하고, 혼란스럽기도 했습니다. 하지만 이제는 이해한 것 같습니다. 여러분, 벤치마크 (benchmarks)를 원하는 만큼 볼 수는 있겠지만, 우리는 동료 학자들입니다. 우리는 단순히 무언가를 믿지 않습니다. 우리는 직접 테스트합니다. 그것이 학자의 방식입니다. 그래서 저는 이것을 일찍 접해 보았고, 밤낮으로 몇 가지 실험을 진행했습니다. 첫인상은 믿을 수 없을 정도로 빠르다는 것입니다. 눈부시게 빠릅니다. 아주 마음에 듭니다. 하지만 그 후 제 코딩 (coding) 실험들은 그리 잘 풀리지 않았습니다.

제가 빛 시뮬레이션 (light simulation) 프로그램을 작성해 달라고 요청했을 때 — 이것은 제 원래 연구 분야입니다 — 검은 화면만 나옵니다. 아무것도 없습니다. 수정을 요청했을 때도 여러 가지 시도를 하지만 결과는 마찬가지입니다. 그래서 저는

그래서 저는, 그러니까, 아마 이 AI를 사용하지 않는 게 좋겠다고 말했습니다. 하지만 그러다 문득, 잠깐, 이건 정말 빠르고 아마 다른 분야에서는 잘할지도 모른다는 생각이 들었습니다. 그래서 저는 AI에게 여러 가지를 시켜보았습니다. 터미널에서 제 기기의 깨진 설치(installations)를 수정하는 것, 아주 훌륭했습니다. 빠른 실험을 뚝딱 만들어내거나 파일을 정리하는 것, 아주 훌륭했고, 정말 빨랐습니다. 시간이 흐르면서 저는 점점 더 이 AI를 찾게 되었습니다. 그리고 어려운 코딩 작업(coding tasks)을 제외한 거의 모든 분야에서 유용하다는 것을 발견했습니다. 이제 이것은 정말 놀라운 일입니다. 왜냐하면 이것이 역대 가장 개방적인 AI 모델일 수도 있기 때문입니다.

가중치(Weights)가 공개되어 있습니다. 이것이 어떻게 만들어졌는지에 대한 연구 논문(research paper)도 공개되어 있습니다. 훈련 데이터(Training data)와 레시피(recipes)도 적어도 재배포 가능한 부분에 대해서는 공개되고 있습니다. 이건 정말 미친 수준입니다. 자, 동료 학자 여러분, 종이를 꽉 잡으세요. 상황은 훨씬 더 좋아질 테니까요. 라이선스(Licensing)입니다. 매우 중요하지만 아주 간과되는 질문이죠. 우리는 항상 Apache 2.0을 희망합니다. 이것은 당신이 원하는 대로 무엇이든 할 수 있는 라이선스입니다. 저에게 이것은 10점 만점에 10점입니다. 이전에는 Nvidia가 자신들의 독점 라이선스(proprietary license) 하에 모델을 게시하기 시작했는데, 그것에 대해서는 10점 만점에 7점 정도를 주었을 것입니다.

2차 저작물(Derivative works)과 상업적 이용(commercial use)은 괜찮습니다. 반면에 약간의 출처 표기(attribution)가 필요하고 특허 허여(patent grants)에 있어서는 조금 더 엄격합니다. 그런데 이것은 오픈 MDW 라이선스를 가지고 있습니다. 이것은 기본적으로 머신러닝 가중치(machine learning weights)에 맞게 조정된 Apache 2.0입니다. 이것은 정말 환상적인 뉴스입니다. 영광스럽기까지 하네요. 제 생각에 이것은 10점 만점에 9점 정도일 것 같습니다. 아마 Nvidia 같은 대기업으로부터 얻을 수 있는 10점 만점에 가장 가까운 점수일 것입니다. 기본적으로 거의 모든 것을 허용하지만, 아직 검증(battle tested)이 덜 되었습니다. 그리고 제가 이해하기로는, 만약 이 모델이 당신의 권리를 침해한다고 주장하며 소송을 제기할 경우, 당신은 라이선스를 잃게 됩니다.

엄청난 발전입니다. 두 번의 따봉을 보냅니다. 감사합니다. 자, 그럼 이걸 직접 실행할 수 있을까요? 음, 그렇기도 하고 아니기도 합니다. 그렇습니다, 왜냐하면 완전히 개방되어 있으니까요. 다운로드하세요. 그것은 영원히 당신의 것입니다. 제한도 없고, 수상한 짓도 없습니다. 하지만, 아니기도 합니다. 저도 로컬에서 실행해보고 싶거든요. 하지만 너무 큽니다. 5500억 개의 파라미터 (parameters)를 가지고 있습니다. 이를 위해서는 수백 기가바이트의 GPU 메모리가 필요합니다. 이것이 제가 아마도 Lambda에서 사용할 이유입니다. 또한, 100만 토큰 길이의 컨텍스트 윈도우 (context window)를 제공합니다. 훌륭하네요. 어딘가에 버그가 숨어 있는 더 큰 코드 베이스 (code base)가 있더라도 걱정 마세요. 거대한 상자처럼 아주 쉽습니다.

좋습니다. 이미지와 비디오는 어떤가요? 음, 시각 기능 (vision capabilities)은 없습니다. 멀티모달 (multimodal)이 아닌 텍스트 전용입니다. 세상에, 이 모델의 멀티모달 버전이 있다면 얼마나 좋을까요. 제발 부탁입니다. 아, 그리고 한 가지 깨달은 점이 있습니다. 모든 것을 수행하기 위해 단 하나의 모델이 필요한 것은 아닙니다. 당신의 유스케이스 (use cases)를 커버할 수 있는 모델들의 로스터 (roster)가 필요합니다. 예를 들어, 제가 Neatron 3 Ultra에 시각 기능을 직접 추가할 수는 없지만, 드라이버를 이용해 Gemma 4를 거기에 결합할 수는 있습니다. 마치 시각장애인 안내견이 더 똑똑한 시각장애인을 안내하는 것과 같습니다. 아주 웃기면서도 나름대로 작동하죠.

나름대로요. 드디어 오픈 AI 모델 (open AI model) 분야에 더 많은 경쟁자가 생겼고, 그것은 정말 영광스러운 일입니다. 그렇다면 어떻게 작동할까요? 음, 한 가지 비결은 모델이 거대하지만, 그 전부가 한꺼번에 실행되지는 않는다는 것입니다. 총 5500억 개의 파라미터가 있지만, 토큰당 약 10%만이 활성화됩니다. 이것들은 한 번에 활성화되는 전문화된 미니 두뇌들입니다. 우리는 이것을 전문가 혼합 (Mixture of Experts, MoE)이라고 부릅니다. 하지만 현명한 학자 여러분은 이미 알고 계시겠죠. 그럼 또 무엇이 있을까요? 이제 그들은 mamba 레이어 (mamba layers)도 사용합니다. 왜 mamba일까요? 이게 뱀 같은 건가요, 아니면 그 과일 맛 츄잉 껌 같은 건가요?

저도 잘 모릅니다. 왜 이 이야기를 꺼냈는지조차 모르겠네요. 그래서 이것들이 무엇을 할까요? 음, 전통적인 AI 시스템은 기억력에 약간의 문제가 있습니다. 질문을 받았을 때 교과서를 계속해서 반복해서 읽는 학생처럼 작동합니다. 하지만 메모리는 소중합니다. 그래서 책을 단 한 번만 읽고 매우 압축된 노트를 작성하는 대신, 이런 종류의 메모리는 대화의 중요한 세부 사항을 기억합니다. 하지만 군더더기 말(filler words)을 버릴 만큼 충분히 똑똑하기도 합니다. 따라서 이 시스템은 방대한 양의 데이터를 효율적으로 처리할 수 있습니다.

또한 저정밀도 숫자(low precision numbers)를 사용하므로, 이를 실행할 때 숫자 계산(number crunching)을 덜 해도 됩니다. 그들은 이를 NVFP4라고 부릅니다. 그리고 이것은 토큰을 하나씩 예측하는 것에 의존하지 않습니다. 아니요, 여러 개의 미래 토큰을 동시에 초안 작성하는 멀티 헤드(multiple heads)를 가지고 있습니다. 다시 한번 말씀드리지만, 많은 것들이 이것을 매우 빠르게 만듭니다. 그리고 우리는 이 모든 것을 영원히 무료로 얻게 됩니다. 정말 살기 좋은 시대입니다. 이 작업을 수행한 모든 분들과, 오픈 소스 프로젝트 및 오픈 모델(open models)에서 일하는 세상의 모든 분께 감사드립니다. 여러분 모두가 영웅입니다.

그리고 보세요, 이 시스템은 훌륭하지만, 아주 작을 수도 있습니다. 나쁘거나 못생겼을 수도 있죠. 상관없습니다. 오픈 과학(open science)과 오픈 모델(open models)이기만 하다면, 인류를 앞으로 나아가게 합니다. 감사합니다. 정말 살기 좋은 시대입니다. 여기 보시는 것은 제가 Lambda GPU 클라우드를 통해 전체 Deepseek AI 모델을 실행하는 모습입니다. 6,710억 개의 파라미터(parameters)가 매우 빠르고 매우 안정적으로 실행되고 있습니다. 이것은 미친 수준입니다. 저는 이것을 사랑하며 정기적으로 사용합니다. Lambda는 여러분이 자신만의 챗봇과 실험을 실행할 수 있도록 강력한 Nvidia GPU를 제공합니다. 진심으로, 지금 바로 lambda.ai/papers에서 시도해 보거나 설명란의 링크를 클릭해 보세요.