【Sequoia Podcast】AI Neolab--Engram【기억과 지속적 학습에 집중】--미래 AI 발전 트렌드에 대한 독특한 통찰 공유

https://www.youtube.com/watch?v=aiR7F4jqjXY
Sequoia Capital이 진행하는 《Training Data》 팟캐스트 에피소드에서, 스타트업 Engram의 공동 창업자인 Dan Biderman과 Jessy Lin은 AI 분야에서 **“기억(Memory)과 지속적 학습(Continual Learning)”**의 핵심적인 역할에 대해 심도 있게 논의하고, 미래 AI 발전 트렌드에 대한 그들만의 독특한 통찰을 공유했습니다:

핵심 논점 및 핵심 전제 (Premise)

지식을 모델 가중치(Weights)에 직접 "굽기(Bake)": Engram의 핵심 전제는 다음과 같습니다. 무조건적으로 점점 더 길어지는 프롬프트(Prompt)를 컨텍스트 윈도우(Context Window)에 강제로 밀어 넣거나, 외부의 검색 증강 생성(RAG)에 전적으로 의존해서는 안 된다는 것입니다. 대신, 팀, 회사 또는 개인의 고유한 지식을 모델의 가중치에 직접 훈련시켜 내재화해야 하며, 이를 통해 AI 모델이 수년간 근무한 숙련된 직원처럼 해당 회사를 본능적이고 직관적으로 이해하게 만들어야 합니다 01:11.
기억과 지속적 학습은 동전의 양면: 현재의 Frontier 연구소들은 주로 사전 훈련(Pre-training)과 사후 훈련(Post-training)에 집중하여, 모델을 수학 및 코드 분야에서 높은 원시 지능(Raw intelligence)을 가진 도구로 만드는 데 주력하고 있습니다. 반면 Engram은 AI의 미래 병목 현상이 "새롭고 끊임없이 진화하는 컨텍스트"를 이해하는 데 있다고 보며, 모델이 "항상 훈련 중인" 상태에 있어야 한다고 주장합니다 01:04.

기술적 구현 및 아키텍처

경량화 훈련 및 어댑터(Adapters): 팀은 기술적으로 다양한 어댑터(예: LoRA, Prefix 등)와 미세 조정(Fine-tuning) 수단(SFT, RL, On-policy distillation 등)을 통해, 각 워크스페이스(Workspace) 내에서 서로 다른 팀을 위한 전용 소형 모델을 훈련시킵니다 04:39.
단순한 오픈 소스 모델 그 이상: 가중치에 직접 접근할 수 있는 화이트 박스 접근(White box access)이 가능하기 때문에 이러한 방법은 오픈 소스 모델에서 가장 쉽게 구현될 수 있지만, 그들은 폐쇄형 모델(Closed-source model) 기업들과도 협력하여 이러한 능력을 모든 Transformer 기반 모델에 적용할 수 있습니다 06:31.

RAG(외부 검색) 및 KV 캐시(KV Cache)와의 비교

**RAG의 한계 (
생물학/신경망에서의 영감: Dan은 신경과학 배경을 가지고 있으며, 인간의 뇌가 특정 한계점을 진화시켜 왔다고 언급했습니다. 뇌는 꿈을 꾸는 동안 실제 상호작용에서 벗어나 낮에 배운 내용을 다시 시험하고 소화합니다. Engram의 모델 또한 이와 유사한 단계를 포함하여, 모델이 지속적 학습 (Continual Learning) 과정에서 완전히 "탈선" (Off the rails)하는 것을 방지하기 위해 모델이 학습 내용을 "소화"하고 그로부터 배울 수 있는 시간을 제공합니다 13:24, 27:52.
"언어가 시각을 압도한다"는 흥미로운 논의: 진행자는 비기술적인 "미친 이론"(즉, 컴퓨터의 순수 전자적 환경이 언어를 강화하고, 생물학적으로 매우 높은 비트레이트(Bit rate)를 가진 시각적 우위를 약화시킨다는 이론)을 제시했습니다. Dan과 Jessy는 인간이 사무실에서 메모를 읽고 쓰는 등의 지식 노동 (Knowledge work)을 하는 것은 본래 생물학적 진화의 결과가 아니라고 보았으며, 따라서 텍스트 기반의 언어를 현재 단계 AI의 진입점과 인터페이스로 채택하는 것은 매우 효율적이고 합리적이라고 생각합니다 41:11, 42:43.

미래 비전 (5-10년 후)

모두가 자신만의 전용 모델을 보유: 미래는 단 하나의 거대하고 점점 더 커지는 범용 AGI 모델이 모든 것을 지배하는 형태가 아닐 것입니다. 세계는 분화될 것입니다. 모든 개인과 팀은 자신만의 스타일과 독특한 습관을 이해하는 전용 소형 모델을 소유하게 될 것입니다 15:21, 42:53.
데이터 평면을 위한 신경 인터페이스 (Neural Interface to Data Plane): DataBricks나 Oracle이 전통적인 데이터 계층의 인프라가 된 것처럼, Engram은 모든 사람이 데이터 계층에 접근할 수 있는 "신경망 인터페이스"가 되기를 희망합니다. 이는 차가운 파일 시스템을 의미하는 것이 아니라, 해당 파일 시스템을 대상으로 하는 **고도의 연상적이고 효율적인 뇌 상태 (Brain state)**를 의미합니다 43:26.

AI 업계의 주목받는 혁신 실험실 (Neolab) Engram 상세 소개

Engram은 AI 업계에서 큰 주목을 받고 있는 혁신 실험실 (Neolab)로, 생성형 AI의 두 가지 궁극적인 난제인 **장기 기억 (Memory)과 온라인 지속적 학습 (Continual Learning)**을 해결하는 것을 핵심 비전으로 삼고 있습니다.

2026년 6월, Engram은 공식적으로 스텔스 모드 (Stealth mode)를 종료하며, Sequoia Capital, Kleiner Perkins, General Catalyst가 주도한 9,800만 달러의 투자 유치를 발표했으며, 기업 가치는 6억 달러에 달합니다. 주목할 점은 AI 거물인 Andrej Karpathy와 AI 분야의 권위자인 Pieter Abbeel이 모두 개인 자격으로 추가 투자를 진행했다는 것입니다. 이 시점에 회사의 직원은 단 13명뿐이었습니다.

다음은 두 공동 창업자, 회사의 기원 및 발전사에 대한 상세 소개입니다:

1. 핵심 창업자들의 기술적 배경

Engram의 탄생은 "이론 신경과학"과 "컴퓨터 시스템 아키텍처"의 강력한 결합입니다.

1. Dan Biderman (CEO)

학술적 배경 및 토대: Dan Biderman은 이론 신경과학 분야 출신입니다. 신경과학에서 "기억"과 "뇌의 흔적(Engram)"은 연구의 핵심입니다. 그는 스탠포드 대학교에서 통계학 및 AI 분야를 수학했으며, 세계적인 AI 전문가인 Christopher Ré 교수의 연구실에서 근무했습니다.
핵심 이념: 생물학에서 영감을 얻은 Dan은 현재의 AI 모델이 지능적이지만, 진정한 기억이 부족하기 때문에 "똑똑한 낯선 사람"과 같다고 생각합니다. 그는 모델이 매 대화마다 파일을 다시 검색하고 읽는 대신, 인간의 뇌처럼 오프라인 연산 자원을 소모하여 지식을 압축하고 가중치(Weights) 내에 "내재화"해야 한다고 주장합니다.

2. Jessy Lin

학술적 배경 및 토대: Jessy Lin은 매사추세츠 공과대학교(MIT)를 졸업하였으며, 인지 계산 과학 및 자연어 처리(NLP) 분야에서 깊이 있는 연구 배경을 보유하고 있습니다. 이후 캘리포니아 대학교 버클리(UC Berkeley)에서 최첨단 AI 메커니즘 연구를 이어갔습니다.
핵심 연구 기여: Jessy는 모델의 **능동적 읽기(Active Reading) 및 희소 메모리 미세 조정(Sparse Memory Finetuning)**에 오랫동안 집중해 왔습니다. Engram을 공동 창업하기 전부터, 그녀는 모델이 긴 컨텍스트(Long Context)를 마주했을 때 "어떤 사실을 기억할 가치가 있고, 어떤 사실을 잊어야 하는가"를 식별하는 필터링 메커니즘을 해결하는 데 전념해 왔습니다.

3. 화려한 창업자 팀의 다른 멤버들

Dan과 Jessy 외에도 창업 팀에는 다음 인물들이 포함되어 있습니다:

Sabri Eyuboglu: 스탠퍼드 대학교 박사로, Transformer 내부 메모리 메커니즘, 상태 공간 모델(SSM) 및 BASED, Minions 등의 아키텍처 연구에 집중하고 있습니다.
Jack Morris: 2025년 말, 코넬 대학교(Cornell)의 박사 학위를 과감히 포기하고 합류하였으며, 모델의 메모리화(Memorization) 및 적대적 연구(Adversarial Research)에 집중하고 있습니다.
Scott Linderman & Christopher Ré: 스탠퍼드 대학교의 저명한 교수 및 실험실 지도교수입니다.

2. 회사의 기원: 스탠퍼드 실험실에서 "역베팅"까지

1. 실험실에서의 영감의 충돌 (2025년 전후)

회사는 스탠퍼드 대학교의 AI 실험실에서 시작되었습니다. 당시 Dan Biderman과 Sabri Eyuboglu는 Christopher Ré의 실험실에서, 자신들이 서로 완전히 다른 두 학문의 양 끝단에서 당시에는 그리 유행하지 않았던 하나의 개념, 즉 **머신 메모리(Machine Memory)**를 쫓고 있다는 사실을 발견했습니다.

전통적인 컴퓨터 과학에서 "데이터베이스(사실 저장)"와 "알고리즘(로직 처리)"은 완전히 분리되어 있습니다.
현대 거대 모델(LLM)의 급격한 발전(예: 사전 학습(Pre-training) 및 RAG)이 지식 외장(External Knowledge) 문제를 부분적으로 해결하기는 했지만, 모델의 "건망증"이라는 근본적인 결함을 밑바닥부터 바꾸지는 못했습니다.

2. "Engram"이라는 이름의 유래

회사 이름인 **"Engram" (기억 흔적/Engram)**은 신경과학에서 유래되었습니다. 생물학에서 engram은 기억이 생물학적 뇌의 신경 조직에 남기는 물리적 또는 화학적 흔적을 의미합니다. 창업자들은 실리콘 칩 상에서도 선형적으로 조합, 삭제 및 침전될 수 있는 동일한 "신경 흔적"을 AI에 새기기를 희망했습니다.

3. 설립 및 거대 기업의 제안 거절 (2025년 10월)

2025년 10월, 팀은 공식적으로 스탠퍼드 실험실을 떠나 샌프란시스코에 Engram을 설립했습니다. 머신 메모리에 대한 공동의 비전을 위해, 팀의 여러 핵심 멤버들은 Google Gemini 팀과 Anthropic 등 최첨단 실험실에서 제안한 고액 연봉의 오퍼(Offer)를 거절하고, 승산은 매우 높지만 도전적인 calculated risk(정밀하게 계산된 모험)에 합류하는 길을 택했습니다.

3. 발전 역사 및 비즈니스 진화 (2025년 10월 - 2026년 6월)

1. 은둔기 및 "RAG 킬러" 아키텍처의 확립

창업 초기 몇 달 동안 Engram은 은둔 상태에서 빠르게 반복(Iteration)을 거듭했습니다. 당시 대규모 모델 산업은 "높은 토큰(Token) 추론 비용"과 "점점 비대해지는 컨텍스트 윈도우(Context Window)" 위기에 빠져 있었습니다.

페인 포인트(Pain Point): 기존의 기업용 AI 에이전트(Agents)가 7만 자 분량의 계약서나 코드베이스를 처리할 때, 생성되는 KV 캐시(KV Cache, 키-값 캐시)가 100GB 이상으로 팽창합니다. 새로운 질문을 던질 때마다 모델은 이 100GB의 "뇌 상태"를 디스크에서 다시 로드하거나 재계산해야 하며, 이는 공포스러운 수준의 비디오 메모리(VRAM) 점유와 비용 소모를 초래합니다.
Engram의 해결책: 그들은 **"항상 학습 중(Always Training)"**인 아키텍처를 제안했습니다. 팀이 이전에 LoRA, BASED, Cartridges, 희소 미세 조정(Sparse Finetuning) 등의 분야에서 거둔 일련의 혁신적인 논문 성과를 활용하여, Engram은 백그라운드에서 경량화된 미세 조정을 자율적으로 실행할 수 있습니다. 이를 통해 기업의 Bespoke(맞춤형) 워크플로우, 전용 도구 체인 및 팀 컨텍스트를 수천 배 작은 어댑터 가중치(Adapter Weights)로 직접 압축할 수 있습니다.

2. 최정상급 생태계 파트너십 수용

연산 비용과 토큰 소모가 애플리케이션 계층의 최대 페인 포인트가 됨에 따라, Engram의 기술은 빠르게 강력한 시장 수요를 맞이했습니다. 은둔 기간 동안 그들은 기업 협업 및 대규모 데이터 처리에서 AI 운영 비용으로 고통받던 Microsoft(마이크로소프트), Notion, Harvey(유명 법률 AI) 등 거대 기업 및 선두 스타트업들과 전략적 파트너십을 체결했습니다.

3. 세상을 놀라게 한 대규모 투자 유치 및 미래 비전 (2026년 6월)

2026년 6월 23일 전후, Engram은 공식적으로 은둔 상태를 벗어나 9,800만 달러 규모의 거액 투자 유치 소식을 세상에 공개했습니다.

Sequoia Capital이 진행하는 Training Data 팟캐스트에서 Dan Biderman과 Jessy Lin은 회사의 궁극적인 진화 경로를 다음과 같이 그렸습니다:

매일 업데이트에서 매분 업데이트로: 현재 Engram의 시스템은 모델이 기업 내부에서 매일 새롭게 생성되는 데이터를 자율적으로 소화하고 흡수할 수 있게 합니다. 미래에 그들의 목표는 데이터 흡수 빈도를 '시간당'으로 높이고, 최종적으로는 파멸적 망각 (Catastrophic forgetting) 없이 '매분' 또는 '실시간 업데이트'를 구현하는 것입니다.
탈중앙화된 개인용 모델 시대: Frontier 연구소 (OpenAI, Anthropic 등)가 방대한 자원을 쏟아부어 거대하고 범용적인 AGI를 구축하는 데 전력을 다하고 있다면, Engram은 미래의 세계가 분화될 것이라고 확신합니다. "모든 개인과 모든 팀은 자신만의 소형 모델을 소유해야 합니다." 이 모델은 독립적이고, 안전하며, 통제 가능하고, 매우 저렴합니다. 또한 일상적인 사용 속에서 마치 실제 데이터 직원처럼, 매일 아침 깨어날 때마다 어제보다 더 똑똑해질 것입니다.