AI가 책을 기억하는 가장 좋은 방법이 그 책을 읽는 것을 멈추는 것이라면 어떨까요? AI가 읽는 모든 단어는 토큰(token)이 되며, 토큰은 비용이 많이 듭니다. 책이 길수록 AI는 그것에 압도됩니다. 하지만 우리 인간들은 이상한 일을 합니다. 우리는 모든 것을 완벽하게 기억하지 못합니다. 어떤 세부 사항은 희미해지죠. 나이가 많은 할아버지가 학교에서 더 잘했던 것과 같습니다. DeepSeek의 과학자들도 "만약 우리가 AI에게도 그렇게 하게 한다면 어떨까?"라는 질문을 던졌습니다. 즉, 인공 지능에게 '인공적인 망각'을 수행하도록 요청하는 것입니다. 하지만 정말 기발한 제안입니다.
왜 그런 것을 해야 할까요? 이게 어떻게 말이 될까요? 함께 살펴보겠습니다. AI 시스템과 계속 대화할수록, 더 오래 이야기하고, 더 많은 문서를 첨부할수록, 모든 것을 기억해야 하므로 운영 비용이 증가합니다. 이제 DeepSeek OCR은 걱정하지 말라고 합니다. 이 거대한 정보의 덩어리, 심지어 텍스트까지도 이미지로 변환하여 JPEG 압축처럼 이미지를 압축하는 방식으로 처리합니다. 하지만 이것은 학습 기반이며 토큰 기반입니다. 그리고 이제 이 데이터는 극적으로 작아집니다.
하지만 이것만으로는 여전히 납득하기 어렵습니다. 그럼 어떻게 좋은 건가요? 즉, 많은 정보를 잃잖아요? 잠깐 기다려주세요, 학자 여러분. 정보 손실률이 거의 모든 것을 버리면서도 공간을 90%나 절약하는 10배 압축 수준에서 얼마나 많은 정보를 잃는지 봅시다. 엄청난 압축입니다. 그리고 그 결과는 무엇일까요? 텍스트의 96% 이상을 복구할 수 있습니다. 정말 놀랍습니다. 그렇다면 조금 더 나아가면 어떨까요? 거의 20배에 달하는 압축 수준으로 올라가자, OCR 정확도는 60%로 떨어집니다.
와. 저는 훨씬, 훨씬 낮은 수치를 예상했습니다. 좋습니다. 이제 중요한 질문이 있습니다. 이게 정말 새로운 건가요? 그러니까, 처음에는 이 논문 때문에 약간 혼란스러웠습니다. 왜냐하면 이건 OCR에 관한 평범한 논문이기 때문입니다. 네, 이것은 OCR을 수행합니다. 즉, 문서, 심지어 손글씨 메모를 주면 텍스트로 되돌려줍니다. 형식적으로 말하자면, 적은 양의 압축된 비전 토큰(vision tokens)을 받아 훨씬 더 많은 수의 텍스트 토큰으로 변환하는 것입니다. 하지만, 이게 그냥 JPEG 같은 건가요? 그러니까, 그 기술은 30년 이상 된 겁니다. 아이디어는 좋지만, 이게 그냥 AI 시스템에 연결한 JPEG 같은 것 아닌가요?
아닙니다. 완전히 그렇지 않습니다. 여기에는 엄청나게 많은 새로운 내용이 있습니다. 학자 여러분, 이것은 Dr. Karolis Jonaityte와 함께하는 Two Minute Papers입니다. 보세요. JPEG는 픽셀을 압축합니다. 이것은 기억(memory)을 압축합니다. 먼저 이 기억들을 그림으로 만들고, 그 그림을 압축하는 것입니다. 하지만, 아직 끝나지 않았습니다. 아니요, 아닙니다. 전혀 그렇지 않습니다. 핵심적인 공학적 트릭은 비용이 폭발하지 않으면서 매우 높은 해상도의 문서를 처리하도록 구축된 인코더를 만들었다는 점입니다. 이를 위해 첫째, 로컬 윈도우 어텐션(local window attention)을 사용합니다.
둘째, 16x 컨볼루션 압축기(convolutional compressor)를 사용하고요. 그리고 셋째, 글로벌 비주얼 프로세싱(global visual processing)을 수행합니다. 좋습니다. 이게 무슨 뜻일까요? 다른 말로 하면, 모든 픽셀에 완전한 어텐션을 주어 응시하는 것이 아니라는 겁니다. 아닙니다. 스캔하고, 압축하고, 그런 다음 읽는 것입니다. 그리고 여기에는 정말 놀라운 점이 있습니다. 이렇게 저렴하게 할 수 있게 되면, 갑자기 이것은 단순히 오래된 데이터를 기억하는 것 이상의 의미를 갖게 됩니다. 잠깐만요, 이게 문서를 이해할 뿐만 아니라 새로운 데이터까지 생성하는 데 도움을 줄 수 있다는 뜻인가요? 네. 이 논문은 A100 GPU 하나에서 하루에 20만 페이지가 넘는 LLM(대규모 언어 모델) 및 VLM(비전-언어 모델)의 학습 데이터를 합리적인 속도로 생성할 수 있다고 말합니다.
저희는 동료 학자들이기 때문에 한계점도 살펴봅니다. 논문 자체에서도 OCR만으로는 진정한 텍스트 압축을 증명하기에 충분하지 않다고 말하며, 나중의 스트레스 테스트에서는 모델이 시각적 기억뿐만 아니라 언어 사전 지식(language priors)에 크게 의존할 수 있음을 시사합니다. 다시 말해, 이미지가 너무 많이 압축되면 누락된 텍스트를 진정으로 볼 수 없게 될 수도 있지만, 동시에 문맥에서 가장 가능성 높은 단어를 추측하는 것과 같습니다. 일종의 자동 완성(auto complete) 기능이지만 더 뛰어납니다. 전반적으로 이것은 정말 환상적입니다. 이는 우리 모두에게 무료로 공개된 시스템일 뿐만 아니라, 다른 오픈 모델들이 탄생하는 데 도움을 줄 훈련 데이터까지 생성합니다.
제가 다루는 논문들에서 아이디어를 테스트하고 몇 분 후에 결과를 얻습니다. 정말 마음에 듭니다. 진심으로, 지금 바로 lambda.ai/papers에서 사용해 보세요.
