Zyphra는 우리가 지속 학습 (Continual Learning) 분야에서 진행한 첫 번째 연구를 공유합니다. 우리는 다음을 연구합니다: LLM은 새로운 데이터로부터 영원히 학습할 수 있는가?

많은 이들이 지속 학습 (Continual Learning)을 재귀적 자기 개선 (Recursive Self-Improvement, RSI)을 통한 AGI로 가는 경로로 보고 있습니다.

첫 번째 장애물은 가소성 상실 (Plasticity Loss)입니다. 우리는 이것이 발생하는 시점에 대한 스케일링 법칙 (Scaling Law)을 도출했습니다 🧵 https://t.co/bd46YfF7XH