LLM은 데이터베이스의 한 행(row)처럼 파리가 프랑스의 수도라는 것을 '안다'는 방식으로 작동하지 않습니다. 또한 질문을 이해하는 것이 아니며, 답변하기 전에 추론(reasoning)하는 것도 아닙니다.

이 모델들이 보이는 거의 모든 '이상한' 행동을 설명하는 단 하나의 문장이 있습니다:

대규모 언어 모델은 텍스트를 입력받아 다음에 올 토큰에 대한 확률 분포를 출력하는 함수입니다. 그게 전부입니다.

모델은

답변하기 '전에' 이해나 추론이 있는 것이 아닙니다, 사람이 생각하는 방식에서 그 단어들이 암시하는 것과 같은 방식으로 말입니다. 모델은 조용히 의견을 형성한 다음 그것을 설명하는 것이 아니라 — 텍스트 자체가 계산인 것입니다. 이것이 바로 체인-오브-쏘트 프롬프팅(chain-of-thought prompting)이 작동하는 이유이기도 합니다: 모델에게 중간 추론 토큰 생성을 강제하면, 실제로 다음에 예측되는 내용이 바뀌기 때문입니다. 왜냐하면 새로운 토큰 하나하나가 다음 예측의 조건이 되기 때문입니다.학습 종료 시점 이후의 어떤 것에 대한 실시간 지식도 없으며, 기본적으로 사용자의 데이터에도 접근할 수 없습니다. 베이스 모델에게 오늘 날짜가 무엇인지 물어보면, 알지 못합니다. 이 격차를 메우는 것이 검색 증강 생성(Retrieval-Augmented Generation, RAG)과 도구 호출(tool calling)의 전체 전제입니다.별도의 API 호출 간에 지속적인 메모리가 없습니다. 모든 요청은 상태 비저장(stateless)이며 — 대화를 '기억'하는 것은 사실상