우리는 독일 공공 부문(German public sector) 맥락에서 대규모 언어 모델(LLMs)을 평가하기 위한 통합 벤치마크인 MÖVE (Modelle für die Öffentliche Verwaltung Evaluieren)를 제시합니다. LLM이 공공 행정 분야에 점점 더 많이 도입되고 있음에도 불구하고, 모델 선택은 여전히 상당 부분 임시방편적(ad hoc)으로 이루어지고 있으며, 기존 벤치마크들은 제한적인 지침만을 제공합니다. 기존 벤치마크들은 주로 영어 중심적이고, 콘텐츠가 미국 중심적이며, 오로지 작업 성능(task performance)에만 집중되어 있습니다. MÖVE는 두 가지 상호 보완적인 차원에 걸쳐 39개의 모델을 평가함으로써 이러한 격차를 해소합니다. 성능 기준(Performance criteria)은 요약(summarization), 질의응답(question answering), 주제 추출(topic extraction)을 다룹니다. 거버넌스 기준(Governance criteria)은 환각 경향(hallucination tendencies), 에너지 소비(energy consumption), 제공자 투명성(provider transparency), 그리고 독일의 헌법적 가치 및 독일 정당들의 입장에 대한 지식과의 정렬(alignment)을 평가합니다. 총 10개의 독일어 데이터셋을 활용하며, 여기에는 공공 행정 영역을 반영하기 위해 우리가 구축한 골드 표준(gold-standard) 및 실버 표준(silver-standard) 데이터셋이 포함됩니다. 우리는 고전적인 NLP 지표(metrics), 임베딩 기반 방법(embedding-based methods), 그리고 LLM-as-a-judge 접근 방식을 결합한 다중 지표 평가 전략을 채택합니다. 연구 결과, 모든 기준에서 압도적인 성능을 보이는 단일 모델은 없는 것으로 나타났습니다. 작업에 따라 상위 성능 모델이 다르며, 모델 크기만으로는 품질을 예측하기 어렵습니다. 우리는 더 나아가 벤치마크 자체를 평가하여 통계적 정밀도(statistical precision), LLM judge의 신뢰성, 우리의 비공개 데이터셋이 모델 순위에 미치는 영향, 프롬프트 구성(prompt formulation)에 따른 결과의 민감도, 그리고 에너지 소비 추정치의 타당성을 분석합니다. MÖVE는 활발히 개발 중인 살아있는 벤치마크(living benchmark)로 설계되었습니다. 결과는 https://moeve.bundesdruckerei.de/ 에서 공개적으로 확인할 수 있습니다.