3인칭 단수 대명사는 언어 모델(Language Models)의 고정관념적 편향(Stereotypical Biases)을 연구하고, 지칭(Reference)에 대해 추론하는 능력을 테스트하는 데 오랫동안 사용되어 왔습니다. 보다 최근에는 추론과 편향 사이의 상호작용이 대명사 충실도(Pronoun Fidelity) 과업을 통해 조사되어 왔는데, 이 과업은 모델이 중간에 언급된 다른 잠재적 방해 요소(Distracting Discourse Entities)와 무관하게, 담화 엔티티(Discourse Entity)를 위해 이전에 지정된 대명사를 올바르게 재사용하는 능력을 평가합니다. 그러나 이러한 연구는 문법적 성(Grammatical Gender)이 제한적이고 성 일치(Gender Agreement)가 거의 없는 언어인 영어에 집중되어 있습니다. 본 논문에서 우리는 명사의 네 가지 서로 다른 성 일치 체계와 네 세트의 대명사를 아우르며, 독일어에서의 대명사 충실도를 측정하기 위한 새롭고 대규모인 데이터셋인 GRUFF를 제안합니다. 이 데이터셋을 통해 우리는 LLM이 명시적인 문맥이 없는 상황에서 남성형 및 여성형 엔티티에 대해서는 강력한 문법적 일치(Grammatical Agreement)를 보여주지만, 신조어 대명사인 xier와 en에 대해서는 그렇지 않음을 보여줍니다. 모델들은 일반적으로 방해 요소(Distractors)에 대해 견고하지 못하지만, 인코더 전용 모델(Encoder-only Models)은 영어에서보다 독일어에서 더 견고하며, 이는 문법적 성의 중요성을 반영합니다. 마지막으로, 우리는 이 문맥에서의 직업적 고정관념이 문법 격(Grammatical Cases) 전반에 걸쳐, 그리고 밀접하게 관련된 아키텍처를 가진 모델들을 제외한 대부분의 모델들 사이에서 상관관계가 낮음을 보여줍니다. 우리는 독일어에서의 성 포용적 언어(Gender-inclusive Language) 및 지칭 추론(Referential Reasoning)에 관한 후속 연구를 장려하기 위해 모든 코드와 데이터를 공개합니다.