강건성의 환상: 작업과 무관한 컨텍스트가 과제별 예측 변동을 숨기다

요약

본 연구는 LLMs이 과제와 무관한 컨텍스트가 풍부한 환경에서도 집계적으로는 강건해 보이지만, 실제로는 예시별로 큰 불안정성을 가질 수 있음을 발견했습니다. 특히 문법적 의미가 없는 의사 단어 같은 요소도 모델 예측을 크게 변화시켜 성능 저하 또는 향상을 초래합니다. 이는 LLM의 신뢰성 평가에 대한 새로운 관점을 제시합니다.

핵심 포인트

• LLMs은 집계적으로는 강건해 보이나 예시별 불안정성이 존재함.
• 무관한 컨텍스트(pseudo-words)가 모델 예측을 크게 변화시키는 양방향 효과를 보임.
• 이러한 불안정성은 테스트 시간 컴퓨트 및 모델 개발 단계에 의해 조절됨.
• 집계 정확도 뒤에 숨겨진 '컨텍스트 유발 꼬리 위험'을 인지해야 함.