이제 AI의 한계는 머리가 나빠서가 아니다.
요약
AI의 한계는 지능이 아닌 기억과 지속 학습에 있으며, 엔그램(Engram)은 어댑터 미세조정을 통해 이를 해결하고자 합니다. 모델 가중치에 정보를 직접 새겨 넣어 긴 프롬프트 없이도 효율적인 추론을 가능하게 하는 기술을 지향합니다.
핵심 포인트
- AI의 병목 현상은 지능이 아닌 기억과 지속 학습에 있음
- 어댑터 미세조정을 통해 모델 가중치에 새로운 맥락을 저장
- 긴 프롬프트 사용을 줄여 추론 토큰 효율성을 극대화
- 학습을 통한 정보 압축이 캐시 메모리 방식보다 압도적으로 효율적
이제 AI의 한계는 머리가 나빠서가 아니다.
세쿼이아 팟캐스트에 나온 신생 AI 랩 엔그램의 두 창업자 댄 비더만과 제시 린은, 모델을 더 쓸모 있게 만드는 진짜 병목이 지능이 아니라 기억과 지속 학습이라고 짚는다.
지금 모델은 프랑스 수도나 파이썬 문법은 깊이 알지만, 우리 회사가 일하는 방식이나 새 맥락은 매번 긴 프롬프트로 떠먹여야 한다. 엔그램은 이걸 추론 때마다 읽히는 대신 어댑터 미세조정으로 모델 가중치에 아예 새겨 넣는다. 그러면 프런티어 모델이 10만 토큰을 써서 답할 걸 100토큰으로 끝낸다는 게 이들 주장이다.
이들이 던진 비유 하나가 강렬하다. 위키피디아 한 문단을 캐시에 올리면 GPU 메모리 80기가를 잡아먹는데, 인터넷 전체를 기억하는 700억 모델의 가중치는 100기가다. 학습은 정보를 그만큼 압도적으로 압축해 넣을 수 있다는 뜻이다.
프런티어 랩이 더 큰 하나의 AGI를 좇는 동안 엔그램은 정반대로 간다. 모두가 자기만의 모델을 갖고, 쓰면 쓸수록 그 사람에게 더 똑똑해지는 세상이다. 메모리의 챗GPT 순간은 가르칠수록 진짜 실력이 느는 인턴이 나오는 날이고, 아직 아무도 거기 도달하지 못했다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X @j90236317 (검증됨)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기