QwenBend: Qwen이 Bend 프로그램을 작성하고, 같은 모델 유형이 이를 Bend2 규칙으로 검사한 후 자체 순전파(forward

이는 어쩌면 취하지 말았어야 할 단계일 수도 있는 Qwenputer의 다음 단계입니다. 하지만 여기 있습니다. Qwen이 Bend 프로그램을 작성하고, 같은 모델 유형이 이를 Bend2 규칙으로 검사한 후 자체 순전파(forward pass) 내부에서 실행합니다. qwenputer와 마찬가지로 인터프리터, 컴파일러 또는 도구 호출은 없습니다. 전체 CPU는 모델 내부에 53M개의 비제로 핸드셋 가중치로 구성되어 있습니다. 작동 방식을 보려면: https://github.com/voidash/qwenbend/blob/main/docs/HOW_IT_WORKS.md 요약하자면(TLDR); Qwen이 bend 프로그램을 작성하고, <|im_end|>에서 엔진이 작동을 시작하며 다음 토큰 하나하나가 실행된 명령어입니다. 16 레지스터 CPU에 8k *32비트 RAM이 있습니다. 게이트드 델타넷 로직(Gated DeltaNet Logic)은 AND 게이트 역할을 하는 SwiGLU 유닛으로 구현됩니다. 먼저, 여러분의 토큰을 얻기 위해 첫 번째 렉서가 작동하여 bend2 레믹스(lexeme)를 구축하고, bend2 규칙의 부분집합(bendlite)에 대해 컴파일 패스를 수행합니다. 이 과정에서 타입 검사, 아핀성(affine), 그리고 종료 조건이 확인됩니다. 위반 사항이 없으면 실행되고, 그렇지 않으면 평가가 진행되는데, 이는 리턴 스택과 오퍼랜드 스택을 사용하여 구축되었습니다. 왜냐고요? 그냥 재미로요... 아무런 이유가 없습니다. 하지만 SwiGLU를 사용한 게이트드 델타넷은 모델 내부에 전체 컴퓨터가 존재할 수 있도록 합니다. 원래 개발자는 Qwenputer를 만들었고, LLM을 LLM 내부에서 실행했으며, 저는 /u/Affectionate_Hat_585가 제출한 형식 검증(formal verification)에 대해 생각했습니다 [링크] [댓글]