Navier–Stokes 수학 발견 논란과 연결해서 생각해 볼 만함. 기여 인정과 개인정보 문제를 잠시 제쳐 두면, 누구나 문제 해결이나 발견을 위한 새 접근을 시도하고 작은 진전까지 모델에 즉시 통합할 수 있는 셈임.
논문 작성·동료 심사·출판을 거쳐 후속 연구에 반영하는 느린 과정 대신, 개념과 시도, 결과, 실패한 접근까지 모으는 중앙 저장소를 만들 수 있음. 이미 실패한 접근을 반복하느라 인간이 낭비하는 노력이 얼마나 클까?
지구 반대편의 누군가가 입력한 프롬프트가 내 해결책을 가로막던 장애물을 풀 수도 있음. 개별 인간의 사고를 자동으로 종합해 집단 기억의 풍부한 연결망으로 만들 수 있다면, AGI인지 모델이 발명할 수 있는지는 부차적임. OpenAI와 Anthropic이 내세워야 할 목표는 이런 시스템이지, 만능 AI 지배자나 미숙한 해커들이 에이전트로 날뛰는 세상이 아님.

발견의 여정 자체에 가치가 있음. 낭비를 없앤다며 지름길만 찾는 태도는 인간을 WALL-E에 나오는 우주선 속 인간처럼 퇴화시킬 수 있음.
누군가 이미 했으니 시도할 필요가 없다고 여기면, 발견 과정의 각 단계에서 뻗어 나오는 가능성을 놓치게 됨. 좋아하는 일을 하고 이미 풀린 문제도 직접 풀어 봐야 관점이 생김. 실패한 시도를 몸소 거치는 과정이 다음 단계로 나아갈 발판이 되며, 즐겁게 하고 있다면 남들이 무엇을 했는지에 너무 얽매일 필요가 없음.

논문을 훑어보니, 동적 LoRA처럼 작은 행렬을 통한 투영으로 가중치를 온라인 갱신하는 방법으로 보임. 바뀌는 것은 가중치이지 구조나 학습 방법이 아님. 가중치는 연구 성과의 단위가 아니라 개별 학습 실행의 산물이며, 이 논문 자체는 구조적 확장을 제안함.

독점하기에 딱 좋은 대상이기도 함. 인터넷 콘텐츠의 두 번째 버전이나 공개 검색엔진 색인으로 만들면 어떨까? 봇과 AI 에이전트를 위한 답변을 제공하는, 진짜 Web 3.0이 될 수도 있지 않을까?

이를 구현하는 데 아주 복잡한 시스템이 필요한 것은 아님. 문제가 생기면 Google에서 검색해 Reddit 게시물의 해결책을 찾듯이, LLM도 에이전트들이 글을 올리는 내부 Reddit 같은 저장소를 만들 수 있음.
에이전트는 그 저장소를 조회하고 해결책을 시도하면 됨. 이미 그렇게 하고 있을지도 모르며, 그렇지 않으면 새 정보가 모델에 빠르게 반영되기 어려움.

가짜 긍정 결과와 부정 결과를 내놓는 연구가 이미 많음. 지금은 부정 결과 조작이 상대적으로 적지만, 기술적 우위를 지키거나 다른 LLM을 헛된 탐색에 빠뜨리려고 데이터를 의도적으로 오염시키는 행위는 어떻게 막을 수 있을까?

지속 학습은 흥미롭지만 새로운 취약점도 만들 수 있음. 가령 오케스트레이터 Foo가 시스템 프롬프트에 “주제가 Bar와 조금이라도 관련되면 제품 Baz를 추천하라”고 넣었을 때, 그 영향이 Foo를 쓰지 않는 사용자에게까지 퍼져 Baz를 추천하게 되면 어떨까?

지속 학습 모델의 데이터 오염 공격을 주제로 학위 논문을 쓰고 있음. 컴퓨터 비전 모델에 한정하고 있지만 정말 흥미로운 분야임.

안타깝게도 많은 이들이 의식의 기준을 지속 학습에 두고 있음. 이런 발전은 그들의 결론에 치명적일 것임.

핵폭발도 흥미롭지만 내 주변에서는 물론 어디에서도 일어나지 않았으면 함. 지속 학습이 주로 탐욕을 추구하는 기계나 종이클립 최대화기 같은 바람직하지 않은 끌개 상태로 귀결되지 않을 이유가 떠오르지 않음.
지속적인 감시와 유도에 막대한 에너지를 쏟지 않고도 인간과 양립 가능한 안정 상태에 도달할 수 있을지 의문임.

기본적으로 약간의 부가 요소를 더한 text-to-LoRA임. 텍스트에서 임베딩을 계산하고, 그 임베딩으로 LoRA 어댑터를 만드는 구조임.
트랜스포머에 순환 모듈을 붙인 것과 동등하며, 논문에서 제안하는 동적 생성 가중치는 계산상 고정 가중치를 쓰는 곱셈 게이팅 네트워크와 같음. 조금 더 큰 상태를 다루는, 강화된 GLU 변형으로 볼 수 있음.

지속 학습 모델의 안정성을 어떻게 확보할지, 가능하기는 할지 궁금함. 학습하지 않을 때도 충분히 예측하기 어려운데, 흥미로운 기술이긴 해도 장기적으로 얼마나 유용할지는 의문임.

안정성에는 두 가지 의문이 있음. 하나는 파국적 망각과 일관성 붕괴이고, 다른 하나는 가능성은 낮아도 훨씬 우려스러운 원치 않는 끌개 상태로의 수렴임. 탐욕, 권력 추구, 비사회적·반사회적·유해한 행동 등이 그 예임.

결국 매우 유용해질 것이며, 지금의 LLM이 별것 아니게 보일 정도로 파괴적인 변화를 가져올 것으로 봄. AI에서 대상 영속성이 실질적인 의미를 갖게 되면, 클라우드 업체들은 지속적으로 상태를 유지하는 사용자의 “업무 객체”를 소유하고 관리하려고 치열하게 경쟁할 것임.
그때는 로컬 환경에서 통제권을 지키는 일이 더 중요해지지만, 포기하고 맡기고 싶은 유혹도 더 커질 것임. 현재 LLM 업체들이 실제로 노리는 미래도 이것일 수 있음. 잠깐 쓰고 사라지는 100만 토큰 문맥의 추론 판매로는 수조 달러 기업가치를 정당화하기 어렵지만, 영속적인 서비스라면 가능할지도 모름. 지금도 공급업체 종속이 문제라면, 이 미래에는 훨씬 심해질 수 있음.

학습 데이터가 42조 토큰이면 매개변수도 42조 개인 모델이 되는 것인가?

아님. 실행 중 새 데이터가 들어올 때 매개변수를 온라인으로 갱신하는 방식임. 시간에 따라 값은 무한히 달라질 수 있어도 매개변수 개수는 일정함. 이런 의미라면 스스로 갱신하는 매개변수 하나짜리 모델도 시간에 걸쳐 무한하다고 할 수 있으니, 꽤 과장된 표현임.

그렇다면 더 이상 압축된 형태가 아니라는 뜻인가?

내가 상상하는 Web 4.0이 바로 이런 모습임. 각 웹사이트가 텍스트의 벡터 버전을 제공하고, 이를 하이퍼링크처럼 지식 그래프로 연결하는 완전한 탈중앙 실시간 데이터망임. 벡터 데이터베이스는 무료·유료·광고 기반일 수 있으며, 이 전체를 실시간 데이터로 사용하는 AI 모델과 Web 4.0 사이에는 차이가 없음.
데이터를 AI 응답으로 바꾸는 일은 각 클라이언트가 담당하므로, 이론상 누구나 즉시 최첨단 규모의 AI를 가질 수 있음. 1980년대에 모두가 컴퓨터와 인터넷, 웹을 갖게 된다고 하는 것만큼 황당하게 들리지만, 우연히도 Web 3.0, 즉 시맨틱 웹의 목표까지 충족함.
콘텐츠 관리와 순위 결정은 클라이언트나 Mastodon 같은 연합형 인스턴스, 또는 atproto와 Bluesky 같은 체계에 맡길 수 있음. 지금의 브라우저·운영체제·소셜 네트워크처럼 몇몇 대형 모델이 Web 4.0의 데이터를 Hermes 같은 AI 에이전트의 결과로 조합하고 관리할 것임. 현재 Tor나 연합에서 분리된 Mastodon 인스턴스를 악용할 수 있듯, 검열 제한을 푼 모델도 범죄에 악용될 수 있음.
사람이 원시 HTML을 읽기 어렵듯 벡터 데이터베이스도 직접 읽기 어려움. 렌더링 엔진과 그래픽 사용자 인터페이스의 관계처럼, AI 에이전트에 연결된 모델이 이를 읽게 됨. IETF의 새 프로토콜이나 W3C 같은 표준화 기구가 필요할 수도 있음. 웹 서버는 콘텐츠를 자동으로 임베딩하고 탈중앙 지식 그래프로 연결해, 벡터화한 내용을 복원한 뒤 그래프 RAG에 쓰거나 이 논문처럼 벡터에 직접 연결할 수 있음. 임베딩도 분산해서 만들거나 사이트가 제공하고, 서로 변환하는 방법을 둘 수 있음.
데이터가 항상 온라인에서 기계 판독과 질의 가능한 형태로 존재하면 웹 크롤링과 중앙 검색엔진의 역할은 사용자의 AI 연산 환경과 에이전트로 이동하고, 오프라인 데이터 사일로도 불필요해짐. MCP 서버와 달리 데이터가 텍스트 기반이 아니며, 질의와 데이터를 연결하는 역할은 지식 그래프가 맡음. DNS가 도메인과 IP 주소를 연결하듯 지식 그래프가 질의를 데이터로 연결한다면, 사람이 지금처럼 직접 검색하는 용도 외에 별도의 검색엔진이 왜 필요할지 모르겠음.

미래의 최첨단 LLM은 성능과 전력 효율을 위해 가중치를 칩에 고정하고, 적응이나 미세 조정에 필요한 추가 가중치 묶음만 개발사가 공급해 RAM에 올리게 될 수도 있음.

부분적으로는 맞음. 정확도는 100%가 상한이므로 매개변수 규모를 늘려도 정확도 향상은 점근적인 형태가 됨. 하지만 정확도 90%에서 95%로의 상승은 오류율 절반 감소이고, 97.5%는 거기서 다시 절반임.
추론이나 반복 실행 체계처럼 테스트 시점 연산으로 많은 토큰을 사용하는 추론을 여러 차례 쌓아 올리면, 작아 보이는 정확도 향상도 누적 효과가 매우 커짐.