요약

본 글은 Andrej Karpathy의 강의를 기반으로, GPT와 같은 대규모 언어 모델(LLMs)이 어떻게 구축되는지 단계별로 심층 분석합니다. 인터넷 데이터 수집부터 정제, 토큰화(Tokenization), 그리고 트랜스포머 아키텍처(Transformer Architecture)를 통한 훈련 과정까지 전 과정을 다룹니다. 핵심은 '데이터의 양과 질'이며, 모델이 단순히 다음 단어를 예측하는 통계적 패턴을 학습하여 인간 언어의 문법, 사실, 추론 능력까지 습득한다는 점입니다.

핵심 포인트

• LLM의 기반 데이터는 Common Crawl 같은 웹 크롤링 데이터를 수집한 후, 필터링(URL Filtering), 중복 제거(Deduplication) 등을 거쳐 44TB 규모의 고품질 코퍼스(FineWeb Dataset)를 만듭니다.
• 텍스트는 BPE (Byte Pair Encoding) 알고리즘을 사용해 서브워드 토큰(sub-word tokens)으로 분해되며, 이는 단어의 무한한 변이형과 새로운 용어를 효율적으로 처리하게 합니다.
• LLM은 트랜스포머 구조를 통해 임베딩 벡터(Embedding Vector)를 활용하여 문맥적 의미를 파악하며, 본질적으로 다음 토큰을 예측하는 통계적 과정입니다.
• 훈련된 모델은 추론(Inference) 단계에서 'Temperature' 같은 매개변수를 조절하여 확률 분포에 기반해 텍스트를 자가회귀적(autoregressively)으로 생성합니다.