#####################################################################

_____ ___ ______ ___ ___ ___ ____ ____ _____

/ // _ / / |_ | / _ ) / _ | / __// _// ___/

...

GPT2-BASIC: BASIC 언어로 구현된 휴대 가능한 머신 인텔리전스

GPT2-BASIC은 DOS급 기기를 위해 BASIC으로 구현된 고정 소수점 (fixed-point) 트랜스포머 (transformer) 및 어시스턴트 런타임 (runtime)입니다. 이것은 웹 프론트엔드 (web frontend), API 래퍼 (API wrapper), 또는 모의 터미널 데모 (mock terminal demo)가 아닙니다. 릴리스 빌드는 DOS FreeBASIC 환경에서 컴파일되며, 디스크에서 로컬 모델 아티팩트 (model artifacts)를 로드하고, 정수 산술 (integer arithmetic)을 사용하여 GPT 스타일의 추론 (inference)을 수행하며, 핫 로드 가능한 (hot-loadable) 어시스턴트 팩 (assistant packs)을 전환하고, 제약이 있는 시스템에서 빠른 회상을 위해 로컬 인덱스 지식 파일 (indexed knowledge files)을 사용합니다.

이 프로젝트는 실용적인 주장, 즉 언어 모델 (language-model) 추론과 유용한 로컬 어시스턴트 동작은 휴대 가능한 알고리즘이라는 점을 중심으로 구축되었습니다. 적절한 양자화 (quantization), 저장 레이아웃 (storage layout), 토크나이저 (tokenizer) 설계 및 검색 인덱스 (retrieval indexes)가 있다면, 동일한 핵심 아이디어를 현대적인 LLM과 일반적으로 연관되는 하드웨어 하한선보다 훨씬 낮은 수준에서도 실행할 수 있습니다.

▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓

► 주요 기능

• Q20.12 고정 소수점 (fixed-point) 가중치와 DOS 로드 가능한 어휘/모델 파일을 사용하여 FreeBASIC에서 DOS 스타일의 GPT 스타일 트랜스포머 런타임을 실행합니다.
• 채팅, DOS 도움말, 사무 업무, 개발 노트 및 휴대용 시스템 가이드를 위한 여러 로컬 팩 (local packs)을 갖춘 어시스턴트 셸 (assistant shell)을 제공합니다.
• 네트워크 접속 대신 핫 스왑 가능한 (hot-swappable) 로컬 모델/지식 자산을 사용합니다.
• 초소형 모델 생성, 골든 답변 (golden replies), 세션 메모리 (session memory), 팩 검색 (pack retrieval), 바이너리 KDB/KB2 레코드, 그리고 샤딩된 KB2T?.TXT 용어 인덱스를 결합합니다.
• 릴리스 및 검증 워크플로우를 위해 DOSBox, QEMU, 하드웨어 전송 및 런치 키트 (launch-kit) 번들을 제공합니다.
• 스크린샷이나 주장에 의존하는 대신 기계가 읽을 수 있는 증거를 생성하는 호스트 및 QEMU 게이트를 포함합니다.

이것은 여전히 의도적으로 작은 모델이며, 486 프로세서로 압축된 프런티어 LLM (Frontier LLM)은 아닙니다. 유용한 동작은 다음과 같은 완전한 제약 시스템 (Constrained-system) 설계에서 비롯됩니다: 고정 소수점 추론 (Fixed-point inference), 컴팩트한 로컬 가중치 (Compact local weights), 큐레이션된 언어 팩 (Curated language packs), 인덱싱된 회상 (Indexed recall), 결정론적 검증 (Deterministic validation), 그리고 원시 생성 (Raw generation) 능력이 약할 때 답변의 유용성을 유지해 주는 런타임 폴백 (Runtime fallbacks).

► 프로젝트 상태 (Project Status)

현재 프로덕션 경로는 DOS GPT2.EXE 프로그램 내에서 실행되는 승격된 MODEL_LEXICON_GOLD_V4_S3000 체크포인트입니다. 모델은 호스트에서 훈련 및 내보내기(Export)된 후 C:\MODEL로 복사되며, FreeBASIC 고정 소수점 트랜스포머 런타임 (Fixed-point transformer runtime)에 의해 실행됩니다. 어시스턴트 출시 경로에는 로컬 모델 메타데이터, 골든 응답 (Golden replies), HELP 행, KDB/KB2 지식 레코드, 집계된 KB2TERM.TXT 용어 인덱스, 그리고 더 빠른 회상을 위한 샤딩된 (Sharded) KB2T?.TXT 용어 인덱스를 포함하는 5개의 팩 디렉토리가 포함됩니다.

검증된 프로덕션 범위:

• C:\GPT2SRC\MAIN.BAS로 스테이징된 src/main_prod.bas의 DOS FreeBASIC 빌드

• 레거시/실험용 모듈이 LABMAIN.BAS로 별도 스테이징된 슬림한 프로덕션 실행 파일

• 출력 가능한 바이트 폴백 (Printable byte fallback)을 갖춘 4096-토큰 최장 일치 어휘 토크나이저 (Longest-match lexicon tokenizer)

• 학습된 토큰 및 위치 임베딩 (Token and position embeddings)

• 인과적 어텐션 (Causal attention), 피드포워드 블록 (Feed-forward blocks), 레이어 정규화 (Layer norms), 및 출력 헤드 (Output head)

• GPT2FX.BIN 내의 Q20.12 고정 소수점 가중치

• GPT2EXP.BIN 내의 고정 소수점 어텐션 지수 테이블 (Attention exp table)

• GPT2TQ4.BIN 내의 선택적 q4/log 압축 토큰 임베딩 아티팩트 (Token-embedding artifact)

• GPT2HQ4.BIN 내의 선택적 q4/log 압축 출력 헤드 아티팩트 (Output-head artifact)

• GPT2HSL.BIN 내의 선택적 출력 헤드 쇼트리스트 (Output-head shortlist) 아티팩트

• 윈도우 내 생성을 위한 KV 디코드 캐시 (KV decode cache)

• 프롬프트 및 출력이 내보낸 컨텍스트 윈도우 (Context window)를 초과할 경우의 롤링 고정 디코드 (Rolling fixed decode)

• 증거 실행을 위한 결정론적 그리디 디코드 (Deterministic greedy decode), 그리고 대화형 실행을 위한 고정 소수점 온도/top-k/top-p 샘플링

• 프롬프트 토큰 및 생성 단계 레코드를 포함하는 기계 판독 가능한 DOS 교육용 트레이스 모드 (Educational trace mode)

• 온도/top-k/top-p 출시 증거를 위한 DOS 비-그리디 샘플링 매트릭스 (Non-greedy sampling matrix)

• --kernel-perf를 통한 선택적 DOS 방출 커널 단계 타이밍 (kernel-stage timing)

• 패리티 벡터 (parity vectors), DOS 품질 로그 (quality logs), 및 DOS 방출 PERF_* 타이밍 기록

레거시 매트릭스 (Legacy matrix), 블록 희소 (block-sparse), 합성 벤치마크 (synthetic benchmark), 그리고 진단용 스모크 테스트 (diagnostic smoke-test) 모듈은 실험용 코드로서 저장소에 남아 있습니다. 릴리스 빌드에서는 이제 이들을 GPT2.EXE에 컴파일하여 포함하지 않습니다. QEMU 스테이징 스크립트는 실험을 위해 기존의 통합 드라이버를 LABMAIN.BAS로 사용할 수 있도록 유지합니다. q4/log 어휘 텐서 (vocabulary-tensor) 경로는 더 이상 단순한 실험용 코드가 아닙니다. 토큰 임베딩 (token embeddings)과 출력 헤드 (output head)는 호스트 내보내기 (host export), DOS 로딩 (DOS loading), 벡터 패리티 (vector parity), 호스트 품질 (host quality), 그리고 저메모리 릴리스 모드로서의 QEMU --perf를 통해 연결됩니다.

기본 체크포인트는 2개 레이어, 48차원, 4개 헤드, 192 컨텍스트 모델로, 463,168개의 파라미터, Q20.12 고정 소수점 가중치 (fixed-point weights), 그리고 DOS 로딩이 가능한 VOCAB.BIN을 갖추고 있습니다. 호스트 부동 소수점 (host float) 및 호스트 고정 소수점 (host fixed) 품질 모두 10개의 프롬프트 전체 스위트에서 10/10, 평균 0.968을 기록했습니다. 동일한 체크포인트에 대한 DOS 증거는 gold-v4 승격 이후 10/10, 평균 0.969를 기록했습니다. 보드별 속도 주장에 대해서는 여전히 물리적 하드웨어 타이밍 측정이 필요합니다.

슬림한 프로덕션 빌드는 현재 309,760바이트의 GPT2.EXE로 컴파일됩니다. 선택적인 속도 후보인 assets/gpt2_basic/MODEL_HEADSHORTLIST2048_PROD_PROBE는 전체 Q20.12 가중치를 상주시키고, 2,048개 토큰 출력 헤드 쇼트리스트(shortlist)인 GPT2HSL.BIN을 추가합니다. 이는 호스트 고정 소수점 품질 및 DOS 벡터 패리티를 통과하며, 런타임 메모리를 2,055,940바이트에서 2,064,148바이트로만 증가시킵니다. 또한 QEMU 486DX2/66 커널 게이트에서 전체 헤드 베이스라인의 2.41 tok/s 대비 3.35 tok/s를 측정합니다.

선택 사항인 압축된 릴리스 후보(release candidate)인 assets/gpt2_basic/MODEL_TOKHEADQ4_PROD_PROBE는 동일한 4096-토큰 어휘집(lexicon)과 체크포인트(checkpoint) 동작을 유지하면서, 상주하는 토큰 임베딩(token embedding) 및 출력 헤드(output head)를 GPT2TQ4.BIN 및 GPT2HQ4.BIN으로 교체합니다. 이는 DOS 벡터 패리티(vector parity) 및 호스트 고정 품질(host fixed quality)을 통과하며, DOS 런타임 메모리를 2,055,940바이트에서 974,724바이트로 줄이고, 전체 상주 기본 모델의 2.46 tok/s 대비 QEMU 486DX2/66 게이트에서 2.12 tok/s를 측정합니다.

저메모리 스트리밍 후보인 assets/gpt2_basic/MODEL_TOKHEADQ4_STREAM_PROD_PROBE는 GPT2HQS.ON을 추가하여, DOS가 q4 코드와 디코드 테이블(decode table)을 상주시키는 대신 GPT2HQ4.BIN으로부터 패킹된 출력 헤드 행(output-head rows)을 스트리밍하도록 합니다. 이는 DOS 벡터 패리티를 통과하고, 런타임 메모리를 616,324바이트로 낮추며, QEMU 486DX2/66 게이트에서 0.81 tok/s를 측정합니다. 이것이 실제 파라미터 스트리밍(parameter-streaming) 경로입니다. 이는 기본 속도 경로라기보다는 의도적으로 최대 호환성을 위한 폴백(fallback)으로 유지됩니다.

릴리스 모드 선택:

모드	모델 디렉토리	런타임 메모리	QEMU 486DX2/66	사용 시기
Full resident	assets/gpt2_basic/MODEL	2,055,940 B	2.46 tok/s	최상의 품질과 가장 단순한 수치 경로가 필요할 때
...

► 이 프로젝트에 대하여

이 프로젝트는 언어 모델 추론(inference)이 클라우드 서비스, GPU, Python 또는 현대적인 운영 체제에 본질적으로 종속되지 않음을 보여줍니다. 여기의 소프트웨어는 구현을 기계에 가깝게 유지합니다: BASIC 소스, 정수 연산(integer math), 명시적인 바이너리 파일, 단순한 텍스트 인덱스, 그리고 반복 가능한 DOS 검증 실행을 사용합니다.

이 저장소(repository)는 세 가지 대상층을 지향합니다:

1. 제한된 시스템 개발자 (Constrained-system developers): 심각한 메모리, 저장 공간 및 CPU 제한 환경에서 로컬 AI를 위한 구체적인 기술을 원하는 개발자.
2. AI 실무자 (AI practitioners): 일반적인 프레임워크와 가속기 스택 없이, 읽기 쉽고 검사 가능한 트랜스포머(transformer) 런타임을 원하는 실무자.
3. 레거시 및 임베디드 시스템 구축자 (Legacy and embedded-system builders): 단순한 개념적 포팅이 아닌, 실제로 작동하는 어시스턴트 런타임을 원하는 구축자.

중요한 결과는 이 작은 모델이 현대의 호스팅된 LLM (Large Language Models)과 경쟁한다는 것이 아닙니다. 그렇지 않습니다. 중요한 결과는 전체 루프 (full loop)가 실제로 구현되었다는 점입니다: 로컬 가중치 (local weights), 로컬 토크나이저 (local tokenizer), 로컬 추론 (local inference), 로컬 팩 스위칭 (local pack switching), 로컬 인덱스 기반 회상 (local indexed recall), DOS 실행, QEMU 스트레스 테스트, 그리고 물리적 머신 전송 워크플로 (physical-machine transfer workflow). 실제 반환된 보드 로그는 아직 대기 중이므로, 하드웨어 특정 속도에 대한 주장은 실제 시스템 로그가 캡처될 때까지 QEMU 증거로 남습니다.

► 종합 문서 (Comprehensive Documentation)

이 프로젝트에 대한 상세한 기술 분석은 다음을 참조하십시오:

GPT2-BASIC: DOS급 시스템에서의 고정 소수점 언어 모델 및 로컬 회상 (Fixed-Point Language Models and Local Recall on DOS-Class Systems)

이 방대한 문서는 다음 내용을 포함합니다:

• 486 시대 컴퓨팅 및 1990년대 초반 AI의 상세한 역사적 맥락
• 모든 핵심 혁신 및 최적화 기술에 대한 완전한 기술적 설명
• 플랫폼 특정 구현 고려 사항
• 벤치마킹 방법론을 포함한 철저한 성능 분석
• DOS급 및 임베디드 타겟을 위한 제약된 시스템 설계 분석
• 현대 에지 AI (edge AI) 개발을 위한 교육적 가치 및 통찰
• 향후 방향 및 응용 분야
• 종합적인 학술 참조 문헌

이 논문은 기술적 구현 세부 사항과 역사적 맥락을 연결하여, 동일한 알고리즘 아이디어가 어떻게 훨씬 더 작은 런타임 환경으로 낮추어 구현될 수 있는지를 보여줍니다.

공개 출시 및 미디어:

• v0.1.0-preview release
• Public release gate workflow
• Public launch plan
• Video production plan
• Public demo script
• Promotional copy kit
• Substrate portability argument
• DOSBox integration
• 런칭 핸드오프 키트: preview release의 gpt2-basic-launch-kit.zip

▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓

► 시스템 요구 사항 (System Requirements)

╔════════════════════════════════════════════════════════════════╗
║ 최소 시스템 요구 사항 (MINIMUM SYSTEM REQUIREMENTS)                      ║
║                                                                ║
...

► 현재 QEMU 486 런타임 (Current QEMU 486 Runtime)

QEMU 릴리스 경로는 이제 다음을 목표로 합니다:
src/main_prod.bas이며, 이는 DOS 환경에서 GPT2SRC\MAIN.BAS로 스테이징되고 FreeDOS와 DOS FreeBASIC으로 컴파일됩니다. 이전의 통합 드라이버는 실험용으로 GPT2SRC extbackslash MAIN.BAS로 스테이징됩니다.

다음 명령어로 호스트에서 기준선(baseline) GPT2-BASIC 체크포인트를 학습하고 내보냅니다:

python3 scripts/train_gpt2_basic.py --profile 486sx-safe

호환성을 위해 바이트 단위의 체크포인트는 계속 지원됩니다. 기본으로 홍보되는 버전은 DOS에서 로드 가능한 어휘(lexicon) 사전을 사용합니다. 새로운 어휘 체크포인트를 학습하려면 다음 명령어를 사용하십시오:

python3 scripts/train_gpt2_basic.py --profile 486sx-safe --tokenizer lexicon --vocab-size 4096 --include-docs --corpus-file data/domain_curriculum/gold_curriculum_v2.txt --output assets/gpt2_basic/MODEL_LEXICON_NEW

Lexicon(어휘 사전) 및 BPE(Byte Pair Encoding) 내보내기에는 MODEL/VOCAB.BIN이 포함됩니다. DOS 런타임(runtime)은 실행 파일 디렉토리 또는 MODEL\에서 VOCAB.BIN을 로드하고, 어휘 사전 크기가 GPT2CFG.TXT와 일치하는지 검증한 다음, 프롬프트 인코딩(prompt encoding) 및 출력 디코딩(output decoding)에 동일한 토크나이저(tokenizer) 모드를 사용합니다.

원래 내장된 트레이너 코퍼스(trainer corpus)는 의도적으로 매우 작게 구성되었으며, 더 이상 프로덕션 데이터 소스로 사용되지 않습니다. 현재 가장 최선의 기본값은 검증된 수동 큐레이션 골드 커리큘럼(gold curriculum)을 통해 학습되었습니다:

python3 scripts/build_gold_curriculum.py

골드 커리큘럼 결과는 qemu/evidence/gold_curriculum_v2_report.md에 기록되어 있습니다. data/domain_curriculum/domain_curriculum.txt에 있는 프로젝트 소유의 생성된 도메인 커리큘럼(domain curriculum)은 프리뷰 패키지에 해당 학습 영역이 포함되어 있기 때문에 추적 관리됩니다. 보수적인 온라인 코퍼스(online corpus)는 워밍업(warmup) 또는 출처 추적(provenance-tracked) 배경 텍스트로 여전히 사용할 수 있습니다:

python3 scripts/fetch_online_training_corpus.py
python3 scripts/train_gpt2_basic.py --profile 486sx-safe --include-docs --corpus-file data/online_corpus/online_training_corpus.txt --corpus-weight 1 --output assets/gpt2_basic/MODEL_ONLINE_PRETRAIN

페처(fetcher)는 data/online_corpus/SOURCE_MANIFEST.json 및 qemu/evidence/online_training_data_audit.md를 작성합니다. 기본 소스는 보수적인 퍼블릭 도메인(public-domain)/정부/오픈 데이터(open-data) 텍스트입니다. --include-sharealike는 체크포인트 배포 계획이 요구되는 출처 표기 및 ShareAlike/GFDL 의무를 이행할 수 있는 경우에만 사용하십시오.

첫 번째 온라인 전용 후보와 이후의 도메인/어휘 사전(domain/lexicon) 스윕(sweeps)은 qemu/evidence/domain_training_strategy_report.md에 기록되어 있습니다. 현재 기본값은 대규모 어휘 사전 골드 v2 체크포인트인데, 이는 홀드아웃(held-out) 및 전체 스위트(all-suite) 품질 모두에서 이전의 바이트 도메인(byte-domain) 후보보다 뛰어나기 때문입니다.