영상: DeepSeek이 AI의 수십억 달러짜리 문제를 해결하다
채널: Two Minute Papers
길이: 5분 50초
출처: 자막 (자동, 영어)
스크립트:
Deep Seek의 과학자들이 우리가 가장 필요할 때 놀라운 것을 발명했습니다. 보세요, 우리는 AI 시대로 진입하고 있습니다. 하지만 저는 정말 놀랐습니다. 제가 방금 알게 된 것은 이 AI 시스템들이 우리 컴퓨터에서 실행되는 방식이 믿을 수 없을 만큼 비효율적이라는 것입니다. 따라서 여러분의 AI 어시스턴트가 더 빨리 답변하기를 원한다면, 더 많은 컴퓨팅 파워가 필요하다는 것은 명확합니다. 하지만, 컴퓨팅을 더 추가할수록 빨라지지 않는다는 것을 발견할 수도 있습니다. 어떻게 이런 일이 가능할까요? 기업들이 이 AI 시스템을 실행하기 위해 수십억 달러를 지불하고 있다는 점을 고려하면 매우 충격적입니다.

어떻게 이런 것이 가능할까요? 책을 읽는다고 상상해 보세요. 그리고 이제 페이지를 넘길 때마다 등장인물에 대해 잊어버린다고 상상해 보세요. 이건 책을 읽는 좋은 방법이 아니죠, 그렇죠?
실제로는 이런 일이 일어납니다. 산 크기만 한 거대한 뇌가 있고 우리가 책에 대해 이야기하고 싶다고 가정해 봅시다. 만약 그 책이 한 페이지라면, 우리는 그 한 페이지만 암기하고 빠르고 쉽게 그것에 대해 이야기할 수 있습니다. 이제 책이 커진다고 상상해 보세요. 엄청나게 커졌고, 우리가 페이지를 넘기는 순간 모든 것을 잊어버리기 때문에, 아픔.

만약 우리가 그것에 대해 이야기하고 싶다면, 항상 그것을 다시 읽어야 합니다. 그래서 우리의 뇌는 거대하고 배가 고프지만, 문제가 있습니다. 정보가 빨대를 통해 들어오고 있습니다. 그래서 우리는 생각하는 데 시간을 보내기보다는 천천히 읽는 데 대부분의 시간을 보냅니다. 그리고 이것이 바로 오늘날 그래픽 카드들이 어려운 문제에 에이전트적 AI 시스템을 실행할 때 하는 일입니다. 그 수십억 달러가 40% 활용률로 앉아 있습니다. 이건 공포 이야기입니다. 정말 힘든 문제입니다. 그래서 해결책은 무엇일까요? 글쎄요, 물론 여러분은 모든 GPU를 필요로 하지는 않습니다.

자, 저에게 보내주세요. 문제 해결입니다. >> [웃음] >> 좋습니다. 그럼 DeepSeek의 과학자들은 어떻게 이 문제를 해결했을까요? 친애하는 학자 여러분, 이것은 Dr. Károly Zsolnai Féhér가 진행하는 Two Minute Papers입니다. 물론 그들은 더 큰 두뇌가 필요하다고 말하지 않습니다. 더 큰 빨대가 필요합니다. 그래서 오늘날 시스템에는 읽기를 수행하는 AI 칩들이 있습니다. 우리는 그것들을 prefill 머신이라고 부릅니다. 이것들이 바로 빨대이며, 완전히 막혀 있습니다. 하지만 네트워크에는 디코딩 머신이라는 또 다른 종류의 머신들도 있습니다. 그리고 그들의 빨대는 거의 완전히 비어 있습니다.

그냥 거기에 앉아 있다가 종종 사용되지 않습니다. 그래서 그들은 '읽는 데 그것들을 사용하고 prefill 머신으로 가는 두 번째 경로를 만들라'고 말합니다. 마침내, 이것은 뇌가 제 기능을 하도록 하는 영리한 우회로입니다. 하지만 문제가 있습니다. 이 지름길은 AI가 생각하는 데 필요한 고속도로와 같은 길을 이용한다는 것입니다. 만약 우리가 이것을 잘 하지 못하면, '만세, 교통 체증을 해결했다.' 그리고 그들이 어떻게 했는지 물으면, 글쎄요, >> 또 다른 교통 체증을 도입함으로써입니다. 좋습니다. 그럼 그에 대한 해결책은 무엇일까요? 음, 교통 제어입니다. 이 도로에서는 생각하는 트래픽이 우선권을 갖습니다.

하지만 메모리 트래픽은 남는 공간을 차지합니다. 이것은 더 많은 컴퓨팅 파워를 제공하지 않기 때문에 절대적인 천재성입니다. 아니요, 이미 가지고 있는 컴퓨팅 파워에 대한 접근성을 제공합니다. 좋습니다. 그럼 주요 결과는 무엇일까요? 자, 학자 여러분, 종이를 붙잡으세요. 왜냐하면 이것이 전체 네트워크의 활용률을 40%에서 약 80%까지 높여주기 때문입니다. 실제로는 이미 구매한 장비에서 거의 두 배에 달하는 작업을 할 수 있습니다. 단 하나의 논문으로 엄청난 도약입니다. 저는 완전히 놀랐습니다. 그리고 이것의 주요 사용 사례는 긴 다중 턴 에이전트 워크로드일 때입니다.

그리고 이 기술을 우리 모두에게 영원히 무료로 제공합니다. 멍. 물론 이것이 모든 AI 에이전트를 두 배 빠르게 실행하는 만능 해결책(magic bullet)은 아닙니다. 아니요, 그렇지 않습니다. 상황에 따라 다릅니다. 하지만 우리가 가장 필요할 때 도움이 됩니다. 긴 대화, 많은 데이터가 필요한 경우입니다. 그때 정말 느려지기 때문입니다. 또한 이것이 쉽게 헤드라인을 만들 수 있는 반짝이는 새로운 AI 시스템이 아니라는 점에 유의하세요. 이것은 두뇌 자체가 아닙니다. 이 AI 시스템들을 서비스하는 데이터 센터에서 구현하는, 두뇌로 가는 더 나은 도로 시스템 같은 것입니다.

그래서 이것 때문에 많은 헤드라인을 볼 수는 없습니다. 팔기 쉬운 반짝이는 것이 아니기 때문입니다. 하지만 정말 놀랍습니다. 그리고 저는 여러분에게 이것을 보여주고 싶었습니다. 그리고 우리 모두는 이런 종류의 오픈 사이언스(open science)에서 가치를 얻습니다. 만약 이 아이디어가 실제 서비스 시스템에 적용된다면, 미래에 우리 모두에게 더 저렴한 AI 추론(inference)으로 이어질 수 있습니다. 게다가 그들은 이것을 닫아두고 지식으로 간직하지 않습니다. 모든 것을 선물처럼 우리에게 줍니다. 얼마나 멋지합니까? 이것이 논문(papers)의 힘입니다. 정말 살기 좋은 시대입니다.