범주형 사전 고착(Categorical Prior Lock-in): 구조화된 데이터에 대한 인컨텍스트 학습의 한계

대규모 언어 모델(LLMs)은 파라미터 업데이트 없이도 새로운 분포에 적응하기 위해 인컨텍스트 학습(ICL)에 의존하여 구조화된 데이터의 조건부 생성기로 점점 더 많이 사용되고 있습니다. 우리는 고카디널리티 테이블형 데이터를 통제된 테스트 케이스로 사용하여, 분포 불일치 하에서 구조적 생성을 위한 ICL의 한계를 조사하고, extit{범주형 사전 고착(categorical prior lock-in)}이라는 구조적 실패 모드를 식별했습니다. 이는 ICL이 사전 학습으로부터 상속받은 토큰 분포에 대한 모델의 사전을 업데이트할 수 없는 능력입니다. 두 개의 7B 파라미터 오픈 웨이트 모델을 통해, ICL은 추가 예시와 함께 수치적 충실도를 향상시키지만, 범주형 분포에서는 급격한 천장을 보이며 희귀 클래스를 완전히 재현하는 데 실패합니다. 파라미터 효율적 미세 조정(LoRA)은 이러한 한계를 극복하지만 측정 가능한 기억 위험을 도입하고, 경우에 따라 구조화된 출력 생성을 불안정하게 만들며, 적응성과 프라이버시 사이의 근본적인 상충 관계를 강조합니다.