언어 모델의 구획화 문제 (Language models struggle with compartmentalization)

요약

본 연구는 대규모 언어 모델(LLMs)이 학습 데이터 내에서 동일한 잠재 개념의 다양한 표현들 사이에서 통계적 강점을 식별하고 공유하는 데 어려움을 겪는 '구획화(compartmentalization)' 현상을 분석합니다. LLM은 각 개념의 표현에 대해 병렬적인 내부 표현을 학습하여 모델 용량이 중복성으로 포화되고 샘플 효율성이 감소할 수 있습니다. 또한, 합성 병렬 데이터만으로는 이 문제를 해결하기 어려우며, 개입 효과가 표현의 수에 따라 달라지는 상전이 현상을 보인다는 점도 밝힙니다.

핵심 포인트

• LLMs는 동일 개념의 다양한 표현을 공유하는 데 실패하는 '구획화' 현상을 보일 수 있다.
• 개념별로 병렬적인 내부 표현을 학습하면 모델 용량 낭비와 샘플 효율성 감소를 초래한다.
• 합성 병렬 데이터만으로는 구획화 문제를 개선하기 어렵다.
• 모델의 개입 효과는 표현의 수에 따라 달라지는 상전이(phase transition) 현상을 보인다.