자, 저를 팔로우하고 계실 수도 있고 아닐 수도 있겠지만.. 저는 지난 10년 이상 AI 분야에서 일해 왔으며, 저희의 첫 번째 AI 제품은 2014년에 출시되었습니다 https://web.archive.org/web/20141027082348/http://xepan.org/ 이었으나, 당시에는 받아들여지지 않아 철수해야 했습니다. 이제 새로운 AI 파도가 밀려오면서 저도 속도를 내기 시작했습니다. 그리고 학습(training)은 괜찮지만 LLM을 실행하는 것은 비용이 많이 들며, 모든 모델이 어떤 방식으로든 Transformer의 변형이라는 점을 발견했습니다. 그래서 먼저 수학과 이론을 시도해 보았고... 그 후 다양한 아키텍처(architecture)를 구축하기 시작했습니다.. 저의 기본적인 AI 지식이 어느 정도 있기 때문에... 무엇이 작동할지 생각할 수 있었고 QLLM을 개발했습니다.. 1: 수년 동안 이론적으로 작동하게 만들었습니다 2: 그 다음 학습이 가능하면서도 여전히 O(1)인 실용적인 형태로 만들었습니다 3: Berkeley College와 Indiana University의 누군가가 제 Reddit 게시물을 흥미롭게 보았고, 그 후 함께 작업하여 논문을 발표했습니다 https://arxiv.org/abs/2604.05030 그 후 우리는 절제 연구(ablations)를 계속했고 마침내 모델을 출시했습니다. 이것은 단지 100M 모델(GPT-2 small보다 작음)이며 더 잘 작동합니다 (아니요, SOTA 모델은 아닙니다. POC로서 GPT-2 단계에 있습니다.. POC는 매우 훌륭합니다). 가장 좋은 부분은 KV 캐시(KV cache)가 없다는 점입니다. 그래서 당신이 1페이지를 말하든 1000페이지를 말하든 상관없습니다... 짧은 채팅에는 확실히 좋지 않지만 그 부분은 나중에 해결될 수 있습니다. 현재 위상 연관성(phase associativeness)을 기반으로 설계되었기 때문에, 제 가설로는 음성 모델(voice model)에도 더 잘 작동할 것입니다 (하지만 현재 매우 초기 테스트 단계입니다) https://huggingface.co/gowravvishwakarma/qllm-pam-v11-e3k3-chat 현재는 4B 사전 학습 데이터(dclm ~52%, fineweb ~40%, smoltalk2 ~8%)로 간단히 학습되었고, 그 다음 smoltalk2의 SFT(Supervised Fine-Tuning)를 거쳤습니다 (엄격한 제한). 초기 1B 모델은 문법을 먼저 익히기 위해 웹 전용이었습니다. 모든 코드는 오픈 소스로 공개되어 있습니다 https://github.com/gowrav-vishwakarma/qllm2 이 모델에 대한 몇 가지 테스트 실행 결과는 다음과 같습니다 (네, 사고(thinking) On/Off 기능도 있습니다) https://huggingface.co/gowravvishwakarma/qllm-pam-v11-e3k3-chat/blob/main/SAMPLES_round-4b-gate.md 비난(roasting)은 괜찮지만, 단순히 AI Slop(AI 쓰레기)이라며 버리지는 마세요.. 저장소(repo)를 확인해 보세요..

그리고 수 시간, 수 시간, 수 시간 동안의 GPU 작업과 수학적 계산이 들어갔습니다... 최소한 적절한 GitHub star 정도는 줄 수 있겠죠 :) /u/ExtremeKangaroo5437 님이 r/LocalLLaMA에 제출함 [link] [comments]