저는 독립 연구자(자비로 마련한 단일 RTX 3090 보유)입니다. 저는 방금 fast-weight memory bank를 학습시키는 것에 대한 프리프린트(현재 Zenodo에 게시 — arXiv는 승인 대기 중)를 발표했습니다. 이 메모리 뱅크는 모델이 자체적인 forward pass를 통해 쓰고 가중치(weights)로서 읽는 작은 벡터 뱅크입니다(각 슬롯은 hypernetwork에 의해 토큰 스트림에 적용되는 low-rank MLP 레이어로 확장됩니다). 이는 데이터로서 attention을 받는 것이 아닙니다. 목표는 backward pass 없이 추론 시에 지속적 학습(continual learning)을 수행하는 것입니다: TTT(test-time training), optimizer, 가중치 복제(weight clone), 컨텍스트 확장(growing context)이 전혀 필요 없습니다.

설정: 8개 슬롯의 뱅크를 가진 3.08M 파라미터 규모의 DeepSeek 스타일 Transformer를 사용하여, 키 기반의 다회차 규칙(keyed multi-turn rule) 태스크를 수행합니다. 각 대화는 K=2개의 키 토큰을 새로운 모듈형 규칙에 바인딩하고, 각 규칙을 한 번 제시(13개 토큰)한 다음, 이후 회차에서 보지 못한 심볼을 쿼리합니다. 각 회차는 별도의 forward pass이므로, 규칙은 오직 뱅크를 통해서만 회차 경계를 넘을 수 있습니다. 확률(Chance)은 0.008이며, 뱅크 ablation은 정확한 대조군 역할을 합니다(뱅크가 없으면 모든 곳에서 확률 수준에 머뭅니다).

세 가지 결과:

1. 작동하며 일반화됩니다. 단 한 번의 13개 토큰 제시만으로 보지 못한 쿼리에 대해 0.79–1.00의 정확도로 미학습 규칙을 설치합니다(두 개의 시드 기준). 규칙은 슬롯의 물리적 퇴거(eviction) 상황에서도 살아남습니다(저장은 중복된 superposition임이 밝혀졌습니다 — 슬롯을 퇴거시켜도 내용이 아닌 복사본이 제거됩니다). 또한 대화 중간에 단 한 번의 forward pass로 규칙을 교체할 수 있으며, 이때 이전 규칙의 지속성(persistence)은 정확히 0.000입니다.

2. 작동하는 유일한 경로입니다. 동일한 대화에 대해 직접 비교했을 때: 전체 LR × steps 스윕을 적용한 test-time training은 적응 예시에는 적합(0.99)하지만, 보지 못한 쿼리에는 정확히 아무것도 전달하지 못합니다. 이는 규칙 업데이트당 비용이 138배 더 높으며, 동시에 건드리지 않은 다른 규칙의 62%를 파괴합니다(뱅크는 퇴거 압력으로 인해 14%를 손실합니다). In-window ICL(in-context learning) 또한 확률 수준에 머뭅니다.

3. 메모리 정책은 구조적인 것이 아니라 학습된 것입니다. 고정된 구조의 대화로 학습된 동일한 아키텍처는 규칙 전환 시 zero-shot 상황에서 완전히 반복(perseverates)됩니다(이전 규칙 지속성 1.000 — 오염된 뱅크에서는 읽을 수 있는 쓰기조차 생성할 수 없습니다).

학습 시 대화 구조(길이, 전환 위치)를 무작위화함으로써 전체적인 유지/덮어쓰기/더티 쓰기(keep/overwrite/write-on-dirty) 정책이 설치됩니다. 메모리가 수행하는 역할은 학습 분포(training distribution)에 의해 결정됩니다.

논문의 절반을 차지하는 솔직한 주의 사항(caveats)은 다음과 같습니다. 이 연구는 의도적으로 소규모이며 합성 데이터(synthetic)를 사용했습니다. 대조군(정확한 절제 연구(ablation), 비용 계산, 홀드아웃 규칙(held-out rules))을 설정하는 것이 핵심이며, 규모가 커지면 이러한 대조가 흐려질 수 있습니다. 읽기/쓰기 회로(read/write circuit)를 학습시키는 것은 공짜가 아닙니다. 결합 그래디언트(joint gradient)는 뱅크를 무시하는 고정점(fixed point)을 가지며, 이를 깨뜨리기 위해서는 교사 강제 부트스트랩(teacher-forced bootstrap) + 어닐링(annealing) + 규칙 다양성 임계값(rule-diversity threshold)이 필요합니다(학습 규칙이 약 112개 미만일 경우, 홀드아웃 정확도는 정확히 0.000이며, 읽기 단계에서 암기해 버립니다). 한 번도 학습되지 않은 규칙 군(rule family)은 TTT와 ICL 모두를 무력화합니다. 즉, 경계선은 메커니즘이 아니라 메타 학습 엔벨로프(meta-training envelope)입니다. 또한 교체 정책(replacement policy)은 시드(seed)에 따라 두 갈래로 나뉩니다(선택적 업데이트 vs 플러시 후 재작성(flush-and-rewrite)).

재현성: 모든 것(3090 한 대에서 각각 약 5시간 소요된 3번의 학습 실행, 프로브(probes), 도표)은 단 하나의 스크립트로 새로운 클론에서 재현 가능합니다.

논문 (PDF, DOI): https://doi.org/10.5281/zenodo.21225721
코드 + 재현: https://github.com/kkuette/thought-bank

투명성 참고 사항: 실험 캠페인과 초안 작성은 인간의 과학적 지침 하에 Claude Code를 통해 Claude(Anthropic의 Fable 모델)를 사용하여 수행되었습니다. 논문에는 이 역할 분담이 명시되어 있습니다.
질문에 답변해 드리는 것을 환영합니다. 특히 제가 가장 정확하게 구현하고 싶었던 부분인 TTT 비교에 대한 회의적인 질문들을 환영합니다.
(그리고 만약 PDF를 확인하신 후 arXiv cs.LG 분야의 추천을 해주실 수 있고, 이 논문이 자격이 있다고 생각하신다면 DM을 부탁드립니다. 독립 연구자로서 추천(endorsement) 단계에서 어려움을 겪고 있습니다.)
제출자: /u/KKuettes
[link] [comments]