대규모 언어 모델(LLMs)이 더욱 능력을 갖추게 되면서, 이들은 종종 작업 입력에 길고 부분적으로 관련 없는 컨텍스트가 동반되는 컨텍스트가 풍부한 환경에 배치되고 있습니다. 통제된 환경에서, 우리는 최첨단 모델들이 과제와 무관한 컨텍스트에 대해 집계 수준(aggregate level)에서는 종종 강건해 보인다는 것을 발견했습니다: 이를 벤치마크 질문 앞에 붙이는 것은 전체 정확도에 거의 변화를 주지 않습니다. 그러나 이러한 집계적 안정성은 상당한 예시별 불안정성을 가립니다. 심지어 문법적으로 의미가 없는 의사 단어(pseudo-words)조차도, 문자를 무작위로 조합하여 만들어진 것일지라도, 소수의 예시에 대한 모델 예측을 현저하게 변화시켜 일부의 성능은 저하시키는 반면 다른 일부에서는 향상시킵니다. 이러한 양방향 효과는 광범위한 모델과 데이터셋에 걸쳐 일관되게 유지되지만, 영향을 받는 예시는 대부분 모델별로 특이합니다. 나아가 우리는 이러한 불안정성이 컨텍스트 유형, 컨텍스트 길이, 테스트 시간 컴퓨트(test-time compute), 그리고 모델 개발 단계에 의해 조절된다는 것을 보여줍니다. 종합적으로 우리의 발견은 집계 정확도에 가려진 컨텍스트 유발 꼬리 위험(context-induced tail risks)을 밝혀내며, 언어 모델의 예시별 신뢰성 평가를 촉구합니다.