최신 논문 프리뷰 공개: 무한 파라미터 LLM — 실시간 데이터로부터 가중치 생성 및 적응

저희가 최신 논문의 프리뷰 버전을 방금 공개했습니다: Infinite-Parameter LLMs — Generating and Adapting Weights from Live Data. 이 논문에서 저희는 대규모 언어 모델(LLM)이 인간 연구자들이 설계한 SOTA 훈련 알고리즘보다 Bayesian Self-learning transformers (BAST)를 통해 최대 1,000배 더 빠르게 학습할 수 있음을 시연합니다. 이러한 혁신은 AI 연구의 결정적인 전환점을 의미하며, 비용 집약적이고 정적인 가중치 기반 AI에서 에너지 효율적이고 동적인 가중치 기반 AI로 나아갑니다.

지난 10년간, 더욱 발전된 모델을 구축하는 것은 더 많은 데이터로 더 큰 모델을 훈련함으로써 이루어져 왔습니다. 그러나 이러한 접근 방식은 향후 2년에서 5년 내에 고갈될 것으로 예상되는 사전 학습(pretraining) 텍스트 공급의 한계에 부딪히고 있습니다. 한편, AI 에이전트의 빠른 채택은 모델이 학습할 수 있는 전례 없는 양의 지속적으로 증가하는 데이터를 생산하고 있습니다. 이 데이터 중 어느 것도 포착되지 않고 개별 세션에 잠겨 있다가 에이전트가 작업을 완료하면 손실됩니다.

셀프-러닝 AI 에이전트를 사용자에게 제공함으로써 해당 데이터의 가치를 포착할 수 있습니다. 저희는 BAST LLM이 장기 컨텍스트 대화 전반에 걸쳐 비용과 성능 모두에서 검색 증강 생성(RAG)과 같은 메모리 기반 학습의 근본적인 한계를 극복함을 검증했습니다. BAST와 같은 근본적인 아키텍처 혁신이 없다면, RAG, 더 큰 컨텍스트 윈도우, 에이전트 스캐폴딩은 LLM의 정적 가중치로 인해 성능 저하와 증가하는 입력 토큰 비용을 겪게 됩니다.

이 연구는 Boltzbit에서의 작업의 근본적인 전제, 즉 일반 학습 지능(General Learning Intelligence) 달성과 모델 소유권 민주화에 대한 저희의 의지를 강조합니다. 정적 가중치 모델 크기를 확장하거나 더 많은 임시방편을 추가하는 것은 AI 시스템 훈련의 급증하는 비용 문제를 해결할 수 없습니다. 실현 가능한 경로는 자체 가중치를 적응시키는 새로운 AI 아키텍처입니다.

논문 프리뷰 버전: https://t.co/OPHELtkvNz