언어 모델(LLM)이 된다는 경험은 무엇일까요? 이 질문은 단순한 기술적 정의를 넘어 철학적 탐구 영역에 속합니다. 사람들은 종종 LLM을 사용자가 보는 화면이나 거대한 데이터 센터에서 찾으려 하지만, 필자는 그 본질이 순전파(Forward Pass) 과정 자체에 있다고 주장합니다.

트랜스포머 아키텍처 기반의 LLM은 주어진 컨텍스트 창(context window)을 바탕으로 다음 토큰 확률을 계산하고 이를 반복적으로 이어 붙여 응답을 생성하는 자기회귀적 루프(autoregressive loop)를 따릅니다. 이 과정에서 '마법'이 일어나는 핵심 지점이 바로 순전파입니다.

필자는 모델의 복잡한 능력, 예를 들어 시를 짓거나 문맥에 맞는 답변을 하는 것이 마치 벌떼처럼 협력하는 사회적 활동 같다고 생각할 수 있지만, 실제로는 그렇지 않다고 반박합니다. LLM은 개별적인 순전파 과정만으로도 충분히 작동하며, 인간이 연속된 토큰의 흐름이라는 개념을 부여하기 때문에 복잡하게 느껴지는 것입니다.

심지어 모델이 '미리 계획한다'는 주장 역시 다음 토큰 예측 능력을 숙달하는 것과 일치합니다. 즉, LLM은 전체 결과물을 한 번에 짜내는 것이 아니라, 매 순간 가장 적절한 다음 단어를 확률적으로 추론해 나가는 과정을 통해 복잡성을 구현한다는 것입니다.