저는 CPU 네이티브 (CPU-native) LLM을 구축하고 있습니다. 비전은 다음과 같습니다: 디코딩 속도는 당신이 소유한 파라미터가 아니라, 토큰당 건드리는 파라미터에 의해 결정됩니다. 즉, 속도는 일정하게 유지하면서 용량 (Capacity)을 계속 키울 수 있습니다. 실제 학습 단계 (training ladder)에 수개월의 연산 자원 (compute)을 투입하기 전 (예산 없음), 저는 무료 Kaggle T4에서 30M 파라미터로 전체 레시피를 처음부터 끝까지 실행했습니다. 출시 전에 미리 작성하여 git에 푸시해 두었기에 나중에 몰래 수정할 수 없도록 다섯 개의 게이트 (gates)를 설정했습니다. 네 개는 통과했습니다: ternary quantization (삼진 양자화) 스위치가 생존했고, 수십 번의 세션 종료 후에도 파이프라인이 깔끔하게 재개되었으며, multi-GPU 스케일링 (scaling)이 1.80배에 도달했고, 긴 문맥 회상 (long context recall) 계층이 안정적으로 유지되었습니다 (비록 성능 향상은 없었지만). 하나가 실패했는데, 그것은 제가 가장 좋아했던 아이디어였습니다. 저는 다른 토크나이저 (tokenizer)를 사용하는 더 큰 교사 모델 (teacher model)로부터 지식 증류 (distil)를 하고 싶었습니다: 학생 모델의 어휘 (vocabulary)는 1024개이지만, 교사 모델은 그렇지 않습니다. 이들 사이의 매핑은 많은 교사 토큰을 하나의 학생 토큰으로 붕괴시키며, 출시 전 측정 결과 단순한 방식(naive version)은 교사 정보의 약 15%만을 유지했습니다. 저는 추가 연산 없이 83-86%를 회복하는 연쇄 법칙 (chain-rule) 수정안을 찾아냈습니다. 하지만 여전히 모든 단계에서 일반적인 cross-entropy (교차 엔트로피)에 패배했습니다. 한 가지 미리 밝혀둘 혼란 요인이 있습니다: 제 교사 모델은 어린이 이야기를 채점하는 코드 모델 (code model)입니다. 따라서 이것은 도메인 외 (off-domain)에서의 교차 토크나이저 증류 (cross-tokenizer distillation)를 측정하는 것입니다. "증류는 끝났다"는 주장이 아닙니다. 기본값은 승리한 방식인 cross-entropy로 전환되지만, 증류는 도메인 내 (on-domain)에서 재실행되어 도전자로서 다시 돌아올 것입니다. 또한 이번 파일럿은 제가 의도하지 않았던 질문 하나를 던져주었습니다: mixture-of-experts (MoE) 업사이클링 (upcycle)은 증류 측에 +0.054 BPB의 비용을 발생시키며 이를 다시 회복하지 못하는 반면, 대조군 (control)은 이를 흡수합니다. 이것은 이제 별도의 조사 과제가 되었습니다. 다음 단계는 첫 번째 실제 단계입니다: Python으로 학습되는 총 30M / 활성 11M 모델입니다. 이 모델의 사전 등록은 이미 공개되었으며, 동점자 처리, 구성 요소 제거, 편향되지 않은 게이트 평가에 대한 엄격한 규칙이 포함되어 있습니다. 관심이 있다면 댓글에 리포지토리 (Repo)를 남겨두겠습니다. 저는 실패 사례도 공개합니다 (그것이 게이트를 먼저 작성하는 전체 목적입니다).

/u/WildPino25가 제출함 [link] [comments]