8개의 로컬 모델을 대상으로 고전(중세 유럽) 판타지 RP/에이전틱 벤치마크를 실행한 결과: Qwen3.6-27B가 크기 대비 뛰어난 성능을

요약

8개의 로컬 모델을 대상으로 판타지 RP 및 에이전틱 능력을 평가한 벤치마크 결과입니다. gemma-4-31B가 가장 높은 합격률을 기록했으며, 모델별로 특정 하위 작업에서 성능 저하가 발생하는 불균형 현상이 관찰되었습니다.

핵심 포인트

• gemma-4-31B가 87%의 합격률로 벤치마크 1위 달성
• Qwen3.6-27B가 82%로 그 뒤를 이어 높은 성능 기록
• 전체 합격률과 달리 특정 하위 항목에서 급격한 성능 저하 발생
• 퀘스트 완료 능력과 NPC 사고/요약 능력 간의 불균형 확인