LLM이 실제로 하는 일: 다음 단어 예측에 대한 설명

"ChatGPT는 어떻게 _생각_할까요?" 사실 그렇지 않습니다. 모든 챗봇 뒤에 숨겨진 전체 메커니즘은 거의 허무할 정도입니다. 바로 다음 단어 하나를 예측하고, 이를 추가한 뒤, 이 과정을 반복하는 것입니다. 여러분이 직접 모델이 되어볼 수 있도록 아주 작은 대화형 예측기를 만들었습니다. 이를 통해 마법 같은 부분과 결함이 있는 부분 모두를 설명할 수 있습니다.

🔮 모델이 되어보기: https://dev48v.infy.uk/ai/days/day6-next-token.html

이것은 AIFromZero의 6일 차 내용입니다 — 매일 하나의 개념을 배우는 AI 리터러시(AI literacy) 과정이며, 따라 할 코드는 없습니다.

1. 오직 '다음' 단어만을 예측합니다

지금까지 주어진 모든 정보를 바탕으로, 모델은 가능한 모든 다음 단어에 대한 확률을 출력하고, 그중 하나를 선택하여 추가한 뒤, 더 길어진 텍스트로 다시 실행합니다. 문단, 코드, 시 — 이 모든 것이 반복되는 이 한 단계의 결과물입니다.

"the cat sat on the __" → P(mat) 높음, P(bird) 낮음

2. 전체 어휘(Vocabulary)에 대한 확률입니다

출력값은 단 하나의 단어가 아닙니다. 모델이 알고 있는 모든 단어에 대한 숫자입니다 (실제 모델의 경우 100,000개 이상). 대부분은 0에 가깝고, 소수만이 그럴듯한 값을 가집니다. 데모의 막대 그래프는 아주 작은 어휘 집합에 대한 그 분포를 보여줍니다.

3. 자기회귀 (Autoregression): 출력을 다시 입력으로 피드백

단어를 선택한 후, 그 단어는 다음 예측을 위한 입력의 일부가 됩니다. 예측 → 추가 → 다시 예측. 각 새로운 단어는 이전의 모든 단어에 따라 조건화되기 때문에, 짧은 국소적 선택들이 모여 일관성 있는 긴 텍스트를 만들어냅니다.

4. Temperature = 창의성 조절 다이얼

확률을 얻은 후, 어떻게 선택할까요? **Temperature (온도)**는 샘플링(sampling) 전에 확률 분포를 재형성합니다:

• 0에 가까울 때: 가장 확률이 높은 단어가 항상 선택됩니다 — 안전하고 반복적입니다.
• 높을 때: 확률이 평탄해져서 드문 단어들이 실제 기회를 얻게 됩니다 — 창의적이지만 오류가 발생하기 쉽습니다.

p = p ** (1 / temperature);   // 그 후 정규화(renormalise) 및 샘플링

데모에서 슬라이더를 드래그하며 막대 그래프가 날카로워지거나 평탄해지는 것을 관찰해 보세요. 그 조절 장치 하나가 바로 API에서 말하는 "창의성"입니다.

5. 확률은 어디에서 오는가?

제 장난감 모델에서는 몇 개의 문장에서 어떤 단어가 뒤따라 나왔는지 세는 방식(1개 단어의 메모리를 가진 "바이그램 (bigram)")을 사용했습니다. 실제 LLM은 이 세는 과정을 인터넷의 방대한 양으로 학습된 거대한 신경망 (neural network)으로 대체하며, 그 메모리는 수천 개의 단어에 달합니다. 메커니즘은 동일합니다 — 오직 추측의 품질만 달라질 뿐입니다.

6. 이것이 왜 많은 것을 설명해 주는가

"단순히 다음 단어를 예측하는 것"은 유창함(언어가 어떻게 흐르는지 보았기 때문)과 환각 (hallucinations)을 모두 설명합니다. 그럴듯하게 들리는 다음 단어가 항상 진실인 것은 아니기 때문입니다. 모델은 _정확함_이 아니라 _가능성 (likely)_을 위해 최적화됩니다. 그 간극이 바로 지어낸 사실들이 존재하는 곳이며, 이는 내일의 주제입니다.

핵심 요약

다음 단어 예측 → 추가 → 반복; 온도 (temperature)는 대담함을 조절합니다. 이 루프를 이해하면 "AI가 생각한다..."라는 표현은 더 이상 신비로운 것이 아니라 기계적인 과정으로 느껴지기 시작할 것입니다. 모델이 되어 보세요 — 단어들을 클릭하며 문장이 구축되는 과정을 지켜보세요.