약 한 달 전, 저는 저의 커스텀 Silia 아키텍처에 관한 논문을 이곳 https://www.reddit.com/r/LocalLLaMA/s/J19Qi4NXeJ 에 게시했습니다. 연산 자원(compute)으로 논문을 후원하기로 결정한 Ok-Internal9317의 도움 덕분에 117M 파라미터 모델을 학습할 수 있었습니다.

모델은 여기서 확인하실 수 있습니다.

Hugging Face
https://huggingface.co/Srijan-Srivastava/Strawberry-s1

GitHub
https://github.com/SrijanSriv211/Silia/

생성 방법?
예시 프롬프트:
Which animal has more poison - the salamander that sticks out its bone or the frog with the sharp head thing, and how do they both make their enemies hurt?
(어떤 동물이 더 독이 많나요 - 뼈를 내미는 도롱뇽인가요, 아니면 머리에 날카로운 것이 달린 개구리인가요? 그리고 둘 다 어떻게 적에게 고통을 주나요?)

추론(inferencing)을 위해 uv를 사용하세요. torch, numpy, regex, colorama를 설치하십시오.

uv run inference.py -i 117M_fp32/final.bin -e cl16k.bin -T "Which animal has more poison - the salamander that sticks out its bone or the frog with the sharp head thing, and how do they both make their enemies hurt?"

생성된 출력:

1. Query Decomposition
"pouring your animal's survival" → food safety concern "all the animals" → dual danger threshold "potential danger" → threshold question, not just threshold
● High confidence: food safety, environmental impact, food safety
...

Silia 연구 논문
Hugging Face
https://huggingface.co/Srijan-Srivastava/Strawberry-s1/blob/main/Silia%3A%20Tiny%20Scale%20Is%20All%20I%20Can%20Spare%20To%20Play%20With%20Transformer.pdf

Zenodo
https://zenodo.org/records/20631957

기타 자료.

이 모델은 https://huggingface.co/datasets/codelion/synth-100M 데이터셋을 사용하여 H100에서 5시간 동안 학습되었으며, 총 약 81M (81,920,000) 토큰(tokens), 배치 크기(batch size) 8, 컨텍스트 길이(context length) 1024를 사용했습니다.

간략하게 요약하자면 아키텍처 다이어그램은 다음과 같습니다:

입력 토큰 (Input tokens) | [토큰 임베딩 (Token Embedding)] | [Silia 블록 (Silia Block) xN:] |--- 멀티 헤드 어텐션 (Multi-Headed Attention) | |--- 회전 위치 임베딩 (Rotary Positional Embeddings) | |--- QK Norm | |--- 스케일드 닷 프로덕트 어텐션 (Scaled Dot Product Attention) |--- SiLU 활성화 함수 (SiLU activation function) |--- 멀티 헤드 어텐션 (Multi-Headed Attention) |--- 어텐션 잔차 (Attention Residuals) [출력 프로젝션 (Output Projection) (가중치 공유 (weight-tied))] | 다음 토큰 로짓 (Next token logits)

감사합니다 :)
제출자: /u/SrijSriv211
[링크] [댓글]