토큰 비용 절감에 집중하는 AI 메모리 스타트업, 9,800만 달러 투자 유치

미국 기업들이 개발자들의 통제되지 않은 AI 사용을 마침내 단속하기 시작하면서, 설립 8개월 차인 스타트업 Engram은 기업들의 비용 절감을 돕는 데서 큰 비즈니스 기회를 보고 있습니다.

Engram은 화요일, General Catalyst, Kleiner Perkins, Sequoia를 비롯하여 최근 Anthropic에 합류한 OpenAI의 공동 창립자 Andrej Karpathy를 포함한 투자자들로부터 9,800만 달러를 유치했다고 발표했습니다.

스스로를 AI의 "학습된 메모리 (learned memory)"라고 부르는 이 스타트업은, 자사의 모델이 조직 특유의 워크플로 (workflow)와 문맥 (context)을 회상하여 질문을 예측하고, 더 저렴한 출력값으로 더 스마트한 응답을 제공할 수 있다고 말합니다. 이 회사는 자사의 모델이 AI 쿼리 (query)를 실행하는 통화 역할을 하는 토큰 (token)을 최대 100배 적게 사용하면서도, 프런티어 랩 (frontier labs)의 성능과 대등하거나 이를 능가할 수 있다고 주장합니다.

새롭고 더 정교한 AI 모델들은 이전 세대보다 더 비싸다는 것이 증명되고 있으며, 이는 규모가 커질수록 비용이 낮아질 것이라는 기존의 관점에 도전하고 있습니다.

Kleiner의 파트너인 Leigh Marie Braswell은 "데이터의 폭발과 비용의 폭발이 일어나고 있습니다"라고 말했습니다. "Engram은 기본적으로 귀사의 조직을 매핑하고, 수십 배 더 저렴한 출력을 제공합니다."

설립된 지 1년이 채 되지 않은 이 13명 규모의 회사는 Microsoft, Notion, 그리고 법률 AI 스타트업인 Harvey를 포함하는 고객 명단을 확보했습니다. 뇌 속의 기억 흔적을 뜻하는 신경과학 용어에서 유래한 이름인 Engram은, 이번 투자금을 컴퓨팅 (compute) 자원과 인재 확보를 지원하는 데 사용할 계획입니다.

Engram의 공동 창립자이자 CEO인 Dan Biderman은 평생 동안 메모리 (memory)에 집착해 왔습니다. 그는 어린 시절, 기억력을 잃은 할머니가 자신과 형제들에 대한 작은 사실들을 기억해 내도록 유도하려 노력했던 것에서 시작되었다고 말했습니다.

이러한 경험은 Biderman가 결국 Columbia University에서 계산 신경과학 (computational neuroscience) 박사 학위를 취득하고, 이후 Stanford University의 AI 연구실에 합류하는 계기가 되었습니다. Stanford에서 근무하며 Biderman는 그가 '천재적인 낯선 사람 모델 (genius stranger model)'이라고 부르는 개념을 인식하기 시작했습니다. 이는 AI가 똑똑하긴 하지만, 그 기억력은 보이는 것보다 훨씬 더 제한적이라는 아이디어입니다. 동시에, 더 많은 컨텍스트 (context)는 모델을 압도할 수 있으며, 이는 더 높은 비용과 더 많은 연구 및 읽기 과정을 요구합니다.

Biderman는 Engram의 모델들이 OpenAI나 Anthropic과 같은 곳의 모델들보다 "절대적으로 더 나은" 것은 아니라고 인정하면서도, 다른 기능들을 일부 희생하더라도 특화(specializing)하는 데 탁월하다고 말합니다.

"우리는 기존의 메모 작성 (notetaking) 수준을 넘어, 인간은 가지고 있지만 현재의 모델들은 가지고 있지 않은 직관 (intuition)의 계층을 구축하려고 노력하고 있습니다."라고 Biderman는 말했습니다.