간단한 웹 채팅에서 Qwen 3.6-27b와 Gemma4를 테스트해 보고 있었습니다. 두 모델 모두에게 '5060ti를 위한 최고의 LLM을 추천해줘'와 같은 질문을 던졌는데, 두 모델 모두 '사용자가 존재하지 않는 그래픽 카드에 대해 묻고 있습니다'라고 답변하여 놀랐습니다.

그 후 확인해 보니 그들의 지식 차단 시점 (Knowledge cutoff)이 2025년 초였고, 그래서 그런 것이었습니다. 하지만 기술은 매우 빠르게 발전하며, 지난 1년 이상의 시간 동안 AI는 말할 것도 없고 언어, 프레임워크, 베스트 프랙티스 (Best practices) 및 기술 분야에서 수많은 변화가 있었습니다.

물론 모델이 웹 검색을 수행하기 위해 MCP 등을 사용할 수도 있겠지만, 모델의 사전 학습 (Pretraining) 데이터는 여전히 1년 이상 지난 지식을 사용하고 있습니다.

이 사실이 놀라웠고 아마 몇 가지 현상들을 설명해 줄 수 있을 것 같지만, 널리 알려진 사실은 아닌 것 같습니다.