Video: 딥시크가 미쳤습니다... GPT보다 30배 싼 가격 | 딥시크 V4 Pro, AI가 오래 기억하는 비용을 줄이는 기술 적용 의미
Channel: 안될공학 - IT 테크 신기술
Duration: 13m 43s
Source: subtitle (auto, ko)
Transcript:

KV는 10%만 필요하다고. 10% 줄였다가 거 아닙니다. 10%만 필요하다고 했어요. 엄청나게 많이 줄인 거죠. 이거는. 사실 KK시 양만 보면은 터보 컨트보다도 훨씬 더 많이 줄인 양입니다, 이거는. 네, 여러분 반갑습니다. 로입니다. 딥크 V프로가 지난번에 출시가 됐는데이 75% 할인을 하고 있었거든요. 요거가 한시적인 할인이었는데 이제는 75%를 연구와 할인하겠다. 그러니까 1/4 가격으로 그냥 계속 싸게 지원을 하겠다라는 얘기가 나오면서 이게 사실 개발자분들한테는 굉장히 좀 큰 사건이거든요. 토큰별 가격이라고 하는 거는 결국 개발자분들께서이 토큰을 이용해서 혹은 꼭 개발자가 아니다 하더라도 API 호추를 통해 가지고 뭐 오픈 쿨러라든가 이런 여러 가지 돌리시는 분들 그런 에이전트 AI를 구현을 해서 쓰시는 분들한테 굉장히 싸게 그런데 성능은 굉장히 좋은 이런 프로모션을 5월 말까지 하기로 했던 거를 계속 연구적으로 할인을 하겠다고 선하면서 화제입니다. 실제 가격을 보시면은 캐시히 인풋이라고 하는 것이 굉장히 싸죠.

0.0035 004고 나중에 다 설명드릴게요. 지금이 가격이 GPT 5.5보다는 훨씬 싸고 최근에 제미나이 3.5 플래시가 굉장히 가격이 싸게 나왔다고 해서 제가 한번 공유드렸잖아요. 그것보다도 꽤 많이 쌉니다. 물론 얘네들의 성능이 지금 똑같은 것이 아니기 때문에 뭐 제미나이 플래시도 이름 그대로 플래시급의 어떤 저가 고속 모델이고 GPT 5.5는 또 프론티어 고성는 모델이니까 다 동일한 선상에서 비교한 건 아니에요. 그런데도 원빌 연당 비교해 봤을 때 5.5보다 한 10분보다 더 싸죠. 이게 그냥 중국의 저가 공세인가라는 관점에서 저는 살펴봤는데 V4를 설계를 한 내용들을 살펴보면은 기술력이 더하해준 부분도 있고 플러스 하웨이의 어센드라고 하는 엔비디아 GPU에 대응하는 새로운이 AI 렉 스케일 시스템이 있잖아요. CM384 같은 것들. 개와도 코옵티바이저의 정가 상호 최적화를 한 것으로 보입니다. 로이터에서도이 가격 인하 자체가 하웨이의 어샌드 950 같은 요런 치의 공급 증가 때문인지는 확인하지는 않았지만 또 프로가 화웨이의 어센트 고공 계열의 이런 칩으로 구동이 되고 있다라는 걸 얘기를 했고 고성능 컴퓨팅 공급이 늘면서 가격이나 여지가 생겼을 가능성을 얘기를 했거든요.

그러니까 이거를 그냥 아, 또 중국이 또 싸게 덤핑하네. 요렇게만 보기에는 뭔가 기술적인 요소가 들어갔기 때문에 요게 지금 AI 인프라 경쟁 그리고 AI 모델 경쟁에서 어떤 의미를 가지는지 특히 이번 딥스크 V4에서는 엄청 오랫동안 큰 윈도우의 컨텍스트의 출론 비용을 줄이기 위한 굉장히 심박한 기술이 들어가 있거든요. 요거에 대해서 한번 이번기에 리뷰를 한번 해 보도록 하겠습니다. 흔히 딥시크 얘기하면서 MOE 아키텍처를 많이 얘기하죠. 믹스처 오브 엑스퍼트라고 하는 전체 모델의 크기는 지금 1.6트리언 1.6쪽에나 되는 파라미터를 가지고 있지만 실제로 추론할 때에이 엑스퍼트들의 개수가 49 빌리언으로 제약이 돼요. 각 레이어의 엑스포트들과 함께이 피드포드 네트워크 포함해서 활성화되는 개수가 49 빌리언으로 반적이 돼요. 요거 착각하셔 가지고 요거 자체가 엑스포트 크기로 생각하신 분들인데 그게 아니고 엑스포트 몇 개라고 하는 것들을 포함하고 FFN 전체를 다 포함했을 때에 활성화되는 개수가 요겁니다.

요것도 사실 크죠. 490억면은 굉장히 큰 수준인데 그래도 전체 1.6 트릴을 계속 돌리고 있는 건 아니니까 MOE 아키텍처를 쓰면은 기본적으로 매번 모든 엑스포트들을 부르는게 아니라 필요할 때마다 특정 엑스포트 그룹을 이제 가져와 가지고 쓰는 구조다 보니까 전체 모델의 지식 저장 용량은 계속 그대로 유지를 하면서도 추론을 할 때는 이게트하다. 그래서 거의 M 아키텍처로 가고 있고 M비디아를 포함해서 다양한이 하드웨어를 설계하는 쪽도 MOE를 굉장히 많이 밀고 있는 상황이죠. 그런데이 MOE 자체만으로는 딥시크의 어떤 차별점이라고 얘기를 할 수가 없는게 요즘 대부분 AI 모델들이 다 뭐 스파스 구조나 MOE 계열 구조를 계속 적극적으로 사용을 하고 있습니다. 그래서이 ME 그 자체보다는 ME 위에이 원밀리엄 100만 토큰의이 긴 컨텍스트를 싸게 돌리기 위해서 어떤 거를 넣었느냐고 봐야 되는데 지금 보신 요런 것들이에요. 뭔가를 압축했어요. 어텐션 부분을 압축을 했다. 그리고 KV 캐시를 줄이기도 했고 뭐 FP4 FP 요런 것들은 굉장히 많이 쓰죠.

근데 요런 것들도 다 투입했고 MB도 MVFP4 이런 거 쓰잖아요. 거기다 플러스 요러한 딥시크 자체의 모델 관점에서의 최스카 플러스 실제 돌아가는 하드웨어와의이 결합요 부분까지 같이 봐야 한다는 겁니다. 이걸 봐야지 중국이 AI 인프라에 대해서 굉장히 막혀 있다라는 부분까지 넘어서서 어떻게 AI가 갖춰지고 있는지 우리나라 기업들의 기회는 무엇인지 이런 것들을 알 수가 있는 부분들이 되겠죠. 사실 AI 인퍼런스 코스트 얘기 나올 때마다 제가 설명드린게 바로이 프리필과 디코드라는 단계죠. 이제 또 많이들 아시지만 그래도 모르시는 분들을 위해서 출론을 할 때에 크게 두 단계로 나닌다는 겁니다. 프리필이라고 하는 미리 채운다. 프리필. LM의 질문 같은 거 입력을 하잖아요. 질문만 입력할 수도 있고 단순한 문장을 넣을 수도 있지만 뭐 이런 문서 저런 문서 코드도 다 넣고 그 쭉 넣은 그 모든 것들 있잖아요. 그 내용들을 일단 AI 모델이 이해를 해야 되잖아. 이게 무슨 내용인지. 그 과정에서 어텐션도 하고 서로 단어들 간의 관계가 어떤 것이면 이런 것들을 잘 이해를 해 가지고 KV라고 하는 키밸류라는 거를 생성하는 단계가 바로 브리필입니다.

KV라고 하는 것들은 결국은이 문맥에 대한 종합적인 정보라고 생각하시면 돼요. 이번에 물어봤을 때 그 사전 정보라고 생각하시면 되고 장기 기억이라고 생각하시면 되는데 그걸 이제 흔히 이제 단순히 말해서 컨텍스트라고 얘기를 하죠. 그 문맥 같은 것들. 그게 확보가 되면은 이제 디코드 단계에서이 디코드 단계 한 개 한 개 이렇게 단계로 표현한 거는 트랜스포머라는 구조 자체가 원래 앞에서 생성했던 키 밸류를 바탕으로 해서 매 한 단 생산하고 그다음에 또 한 단을 생상하고 그 다합차고 또 한 단 생성하고 이런 식으로 구조를 하기 때문이에요. 매번 키밸류를 이렇게 다 생성을 할 수는 없으니까 키밸류를 잠깐 저장해 놓고 계속 갖다 쓰는 방식이기 때문에 그걸 어토리그래시브하게 쓴다라고 표현을 하고 거기서 KV 캐시라는 용어가 나오는 겁니다. 캐시라는게 이제 저장해 놓고 빨리빨리 쓴다라는 의미잖아요. 그래서 매 단어 한 단계 한 단에 이렇게 내뱉어내는 경라고 보시면 되는데 이게 짧은 질분에서는 별 문제가 없거든요.

근데 굉장히 길고 막 100만 토큰 이렇게 가면은 책 여러번 분량이 문명을 넣는 순간에 이거 자체의 비용이 엄청나게 많이 든다라는게 문제예요. 짧으면은 그냥 금방금방 하면 되는데이 많은 책들 이것들을 전부 다 기억하려면은 결국이 KV캐시라는이 메모리에 저장을 해야 될 용량이 굉장히 커지기 때문에 이것 자체가 비싼 메모리를 많이 잡아먹죠. GP 옆에 있는 HBM이라든가 이런 것들 다 잡아 먹고 하기 때문에 이번에도 베라루비 시스템에 CMX라는 그런 스토리지 SSD를 넣었잖아요. 거기에 어떤 그 컨텍스트에 해당하는 KB캐시의 일부를 이렇게 내려놓겠다는 개념이거든요. 그게 너무 비싼데 HBM을 다 차지하고 있으면은 다른 컴퓨팅하는 연산을 잘 못 하기 때문에 좀 느린 스토리지 SSD 쪽으로 내려놓고 가겠다라는 컨셉입니다. 그러니까 한 사용자가 케이블캐시를 예를 들어 뭐 책을 몇 것이 막 넣어 놨어. 막 눈치 없이 막 다 놓으면은 같은 서버에서 동시에 받을 수 있는 사용자 수 자체가 줄어들기 때문에이 데이터 센터의 전체 유저 사용률이 떨어지겠죠.

마치 우리가 굉장히 사람 많은 곳에서이 스마트폰이 이게 잘 안 터지듯이 그런 것과 비슷하다고 보시면 될 거 같습니다. 그래서 이게 컨텍스트가 길어지면 길어질수록 우리가 단순히 이제 PDF 문서라든가 뭐 이런 거 이미지를 많이 넣는다는 것도 컨텍스트가 길어지는 거지만이 장문맹이라고 하는 거는 우리가 최근에 에이전틱 AI라고 하는 거 계속 물어봤다가이 좀 아니면 딴 것도 좀 해보고 딴 것도 좀 해보고 계속 시도를 하려고 하면은 그 과거에 있는 모든 기업들을 다 기억을 하고 있어요. 그니까 에이전트 AI 시대가 오면 올수록이 KV라는이 용량 자체가 계속 늘어나기 때문에 그러기 때문에 지금 다 메모리가 날린 거예요. 비싼 메모리보다는 조금 더 저렴한 메모리, 조금 더 저렴한 디램, 조금 더 저렴한 랜드 플래시 이렇게 내려가면서 점차 저장을 해야 될 공간을 위치를 이동하면서이 프로세서의 하이어라컬 아키텍처를 바꿔 가는 거의 지금의 프로세서 설계의 핵심이죠.이 이 모든게 다 얼마나 많은 내용을 기억을 해야 되는가 또 그 기억을 얼마나 잘 유지를 하면서 쓸 것인가의 얘기기 때문에 여기서 딥시크가이 기억을 얼마나 작게 압축할 수 있냐라는 것들을 다시 보게 된 거죠.

그렇게 하면 싸게 되니까. 그러면서이 하이브리드 어텐션이라는 아키텍터처를 갖고 왔는데 딜크 v4프에서 KB는이 엄청난 양의이 컨텍스트가 있는데 전체를 똑같은 수준으로 안 보고 좀 빡세게 보는 애랑 좀 덜 중요한 애들은 약간 압축해서 보고 이러한 개념으로 가겠다는 거예요. 그 디지그 V4가 공식 설명으로는이 컴프레스드 스파스 어텐션이라고 하는 CSA라고 하는 거 그리고 heavily compressed 어텐션 그러니까 듬섬듬섬하게 어텐션 하는 거랑 아주 빡세게 압축한 거 이렇게 두 개로 나눠 가지고 보겠다라고 얘기를 하고 있어요. 그니까 기조 방식은 이제 책 전체를 그냥 다 집어 놓고 매번 비슷한 방식으로 참고하는 형태가 됐는데 일단 책의 양이 예를 들어 막 저기 한 500페이지 된다고 칩시다. 그럼 500페이지 다 보고 얘기를 해야 된다는 거잖아요. 그럼 질문 하나 나오면 책 전체를 또 다 봐야 되는 거야. 그 그 자체가 코스트잖아요. 비용이 되기 때문에 딥시급 v포스 다르게 처리를 한게 뭐 어리는 과거의 내용은 일단 압축해서 보고 중요한 부분만 골라와서 보겠다는 거예요.

그러니까 그 가중치를 두 겠다라는 거죠. 그 CSA는 상대적으로 덜 압축한 기억을 갖고 있는 거고 저 HCA라고 하는 거는 훨씬 더 강하게 압축한 기억을 가지고 어떤 긴 과거의 흐름을 좀 약간 저렴하게 유지를 하는 컨셉을 가져갔다 말 그대로 최적합니다. 이렇게 되니까 딥크가이 구조를 통해 가지고 원밀리언이나 되는 토큰 컨텍스트에서 V4프로가 V3.2 점이 대비해서 하나의 토큰을 인포런스 할 때 플랍스가 27%나 줄었다고 하고요. KV캐시는 10%만 필요하다고 10% 줄었다가 아닙니다. 10%만 줄인 거죠. 이거는 사실 KV캐시 그렇다고 또 이제 우리 내성이 강해졌잖아요. 뭐 터보 컨트 때문에 뭐 이거는 사실 기술적으로 봤을 때 그게 뭐 메모리 수요를 줄인다는 건 사실 말이 안 된다고 제가 말씀드렸죠. 이것도 마찬가지입니다. 그만큼 효율적인 구조를 가져가겠다라는 얘기인 거지. 뭐 메모리 수를 준다 이렇게 해석을 하시면 좀 곤란하고요. 그래서 허인 페이스에서 이렇게 딥시크로에 대한 설명들이 쭉 나와 있는데 자세한 내용들이 여기 다 적혀 있긴 하거든요.

결국은이 HCA라고 하는게 KV 항목을 무려 128배나 압축을 했고 압축된 블록 전체에 대해서 어떤 댄스 어텐션을 수행한다고 설명을 하고 있거든요. 그러니까이 압축된 시커스 자체가 충분히 짧아졌기 때문에이 댄스 어텐션 자체도 싸게 강해진다는 구조적인 어떤 압축기에 대한 얘기를 하는 거예요. 엄청난 규모지 않습니까? 진짜로 진짜 많이 줄어든 건데 그러면서 케이블 캐시가 줄었다라고 하면은이 서버 한대 갈 때 했을 때에 서빙을 할 수 있는 사수 자체가 굉장히 많아질 수가 있겠죠. 똑같은 걸 돌리는데 많이 쓴다는 겁니다. 여기서 가격이 줄어들 수 있다라는 거죠. 그니까 AI 서버가 답변 하나를 만드는 속도 중요한데 이게 한 개의 기준 우리 개인적인 기준으로 봤을 때는 뭐 이게 토큰 첫 번째 토큰이 언제 나오냐 이런 것들이 중요하지만 시간이 얼마 걸리냐 이런게 중요하겠지만 AI 서버를 돌리는 서비스를 서빙하는 입장에서는 한 서버가 몇 명이나 커버 가능하지. 그러니까 AMD의 에픽 같은 이런 CPU들이 코어으로 굉장히 많이 늘리면서 현재 AI 데이터 센터 말고 고전적인 데이터 센터 있잖아요.

이런 서버에서 굉장히 여러 코를 많이 갖고 하니까 여러 유저들을 서빙할 수 있다라는 형태에서 장점을 계속 내서웠었던 거죠. 동시 접속사가 많았을 때 그걸 얼마나 잘 처리할 수 있느냐. KV캐시가 작아지면서 같은 장비로 이게 더 많이 지원이 가능해졌다라는 걸 얘기를 하는 겁니다. 그리고 FP 16 8 4 이런 것들은 매번 말씀드리지만 원본에 있는 우리가 사진이 있다고 하면 요거를 이제 더 압축해서 쓰던 개념이잖아요. 요런 것들은 뭐 MVFP4라든가 MBI도 많이 쓰고 있고 하는 건데 요것도 당연히 적용을 했고 거기다가 제일 중요한 거는요 하웨이 어샌드 관련된 내용인데 아틀라스 950이라든가 이런 것들을 통해 가지고 돌리기 시작하 거 있잖아요. 물론 GPU 지금 최근에 엔비디아 뭐 미중 협상을 하면서 H200을 도입한다 하지만 결국은 하웨이에 긴밀한 협업을 하고 있는 것으로 보이고 로이터에서는이 V4 출시 후에 바이댄스나 10텐센트 알리바바버바 같은 어떤 빅 중국 빅테크 기업들이 하웨이의 어센드 시리즈의 집합으로 나섰다고 얘기를 했거든요.

그니까 이거를 이제 코적하를 하는 거죠. 기존에 쿠다 기반, 엔비디아 기반으로 체적하던 거를 여기에 또 맞게 또 제작화를 하는 부분들이 있었을 거란 말입니다. 그러니까 AI 모델 차원에서의 어떤 알고리즘적인 압축이나 캐시 관리 같은 부분들 그리고 생태계 쪽에서의이 하웨이 어센드 시리즈를 도입을함으로써 최적화를 하면서 가는 부분들 요런 것들을 하니까 전체적으로 가격을 깎을 수 있지 않았냐라고 추정을 할 수가 있다라는 거죠. 이게 에이전트로 가면 갈수록 앞으로 토큰이 계속 소모가 되고 있을 텐데 왜냐면 이거 계획하고 읽은 다음에 코딩 짜고 툴 부른 다음에 다시 시도하고 기억한다 이거 계속 하다 보면은 컨텍스트가 계속 길어질 거잖아요. 그래서 제가 요즘 최근에 이제 주목을 하고 있는 것이 결국은 누가 제일 똑똑하냐라는 관점에서 보면은 토큰이 어차피 많이 소모가 되는 시대가 됐다 보니까 토큰이 처음부터 적게 소모가 되면서 똑똑해졌으면 상관이 없는데 똑똑한 모델 쓰려면은 뭐 테스트 타인 컴퓨터라든가 뭐 토큰을 많이 써.

그래 비싸. 그래서 그 비싸면은 결국은 비싼 거 어떻게 좋긴 좋은데 어떻게 써?라고 하게 되면은 최고 성능에 대한 얘기가 이제 실제 쓸 만한 모델인가에 대한 접근으로 가고 있다라는 거죠. AI의 모델 경쟁과이 서비스의 경쟁이 지금 판도가 바뀌었다는 거는 그만큼 AI 경쟁의 초기 시장에서 그다음 단계로 점차 이동해 가고 있다라는 거를 보고 있지 않나라고 생각이 들고 결국은 개발자하고 기업이 실제 제품에 붙이게 하려고 하면은 굉장히 싸게 해서 접근을 해야겠다라는 거를 볼 수가 있겠죠. 물론 뭐 미국 AI가 여전히 강합니다. 오픈에 엔트로픽 뭐 구글도 여전히 강하고 열점에서 노력을 하고 있는데 딥시크가 요런 장문맥 쪽에서 API를 굉장히 싸게 가져간다는 거 자체가 경쟁의 핵심 질문을 바꾸는 부분이 아닌가 생각할 수가 있다라는 거죠. 똑똑한 거 이제 의미 없다. 실제로 에이전틱 AI을 돌렸을 때 이거 하루에 계속 돌릴 수 있는 거야라고 하는 관점에서 딥시크를 오히더 쓸 수도 있을 가능성이 생겼다라는 거.

좀 박스가 똑똑해야 되는 그런 모델들은 일본은 그냥 미국에 있는 모델들 아니면 최고 성능을 가진 애들을 쓸 수도 있겠지만 그냥 저렴하게 적당히 할 수 있는 애들은 그냥 오픈 모델이라든가 아니면 딥시크를 가져와 가지고 싸게 돌릴 수 있는 요런 형태도 될 수가 있을 거고 점차 어떤 저맞은 사스의이 AI 기능을 계속 활용을 할 수 있는 여지를 딥시크가 열고 있지 않나라는 생각이 들고 그런 관점에서 딥시크가이 모델을 그냥 작게 만든게 아니라 AI가 뭔가 장문맥의 기억을 오래 기억하면서도 이거를 여러 명에서 서빙할 수 있는 구조로 나아가면서 결국은 은 AI에서 돈을 어떻게 벌 것인가 여기에 대한 관점에서 접근을 하고 있다라고 정리를 해 보면 되겠습니다. 지금까지 에러였습니다.