이야기 쓰기가 가능한 약 2만 개 매개변수(가장 작은 규모)의 언어 모델

저는 TinyStories 스타일의 모델 크기를 계속 줄여왔는데, 이것이 지금까지 가장 작은 모델입니다: MacroStories — 19,969개의 매개변수, 81 KB FP32 https://huggingface.co/raincandy-u/MacroStories 규모를 비교하자면: → 1M TinyStories 모델보다 약 50배 작음 → AlexNet보다 약 3,000배 작음 → 32차원 은닉 상태 → 378 토큰 어휘 → 공유 가중치로 재귀적으로 4번 적용된 디코더 블록 하나입니다. 명백히 범용적인 LM은 아니지만, 제한된 이야기 분포 내에서는 목표, 문제, 관련 행동 및 해결책을 갖춘 100~300단어의 서사를 유지할 수 있습니다. 또한 CPU에서 매우 빠르게 실행되며 GPU가 필요하지 않습니다. 저는 주로 일관성 있는 서사 생성에 대한 하한선을 얼마나 밀어붙일 수 있는지에 관심이 있습니다. 사람들이 어떻게 이 한계를 돌파하는지 궁금합니다.☺️ /u/x_Raincandy_x 님이 제출함 [링크] [댓글]