Gemma4에게 요일을 물었더니 하루가 어긋난 건(4)

요약

로컬 LLM인 Gemma4를 활용하여 과거 연도의 날짜별 요일 정답률을 테스트한 실험 결과입니다. 2025년 기준 약 96%의 높은 정답률을 보였으나, 학습 데이터의 시점과 추론 방식에 따른 한계가 관찰되었습니다.

핵심 포인트

• Gemma4는 2025년 데이터에 대해 약 96%의 요일 정답률을 기록함
• 학습 데이터 시점과 추론 엔진의 특성이 정답률에 영향을 미칠 수 있음
• 연도별, 월별로 정답률 편차가 존재하며 특정 시점에 데이터가 편향될 가능성 제기
• 요일 외의 잘못된 텍스트(예: 사요일)를 출력하는 환각 현상 발생