본 보고서는 ENGINEERING Ingegneria Informatica S.p.A.의 EngGPT2MoE-16B-A3B LLM, 즉 3B 활성 파라미터를 가진 16B 파라미터 혼합 전문가(Mixture of Experts, MoE) 모델의 성능을 벤치마킹합니다. 이 성능은 광범위한 다양한 대표적인 벤치마크를 통해 조사되었으며, 유사한 크기의 오픈 소스 MoE 및 밀집(dense) 모델과 비교됩니다. 인기 있는 이탈리아 모델들, 즉 FastwebMIIA-7B, Minerva-7B, Velvet-14B, 그리고 LLaMAntino-3-ANITA-8B와 비교했을 때, EngGPT2MoE-16B-A3B는 국제 벤치마크인 ARC-Challenge, GSM8K, AIME24, AIME25, MMLU, HumanEval (HE)에서 동등하거나 더 나은 성능을 보입니다. 또한 RULER 벤치마크의 가장 긴 컨텍스트 설정(32k)에서도 최고의 성능을 달성합니다. 이탈리아 벤치마크 데이터셋 ITALIC에서는 모델이 다음과 같이 성능을 보여줍니다.

RULER는 32k 컨텍스트를 가집니다. 모든 벤치마크 지표에 걸쳐 성능을 종합했을 때, EngGPT2MoE-16B-A3B는 평가된 이탈리아 모델들보다 더 높은 성능을 보였지만, 특히 GPT-5 nano 및 Qwen3-8B와 같은 가장 성능이 좋은 국제 모델들의 결과보다는 낮은 수준을 달성했습니다. 전반적으로 우리의 연구 결과는 새로운 모델이 네이티브 이탈리아 대규모 언어 모델(LLM)에게 한 단계의 진전을 이루었음을 보여줍니다.