분할(Partition), 프롬프트(Prompt), 집계(Aggregate): 언어 모델의 통계적 자기 일관성

요약

본 연구는 인 컨텍스트 러닝이 만족해야 할 통계적 자기 일관성 원칙을 조사했습니다. 이진 트리를 이용해 모집단을 분할하고, 하위 집단별 추정치를 다시 전체로 집계하여 비교한 결과, LLM 추정치들이 기본적인 일관성 속성을 광범위하게 위반함을 발견했습니다. 이는 모델이 부분적 지식은 가지고 있으나 이를 신뢰성 있게 통합하지 못함을 시사합니다.

핵심 포인트

• LLM의 인 컨텍스트 러닝은 통계적 자기 일관성 원칙을 만족시키지 못한다.
• 하위 모집단 응답을 집계한 추정치가 전체 수준 추정치보다 인간 참조 데이터와 더 잘 정렬되는 경향이 있다.
• 모델들은 부분 지식은 보유하나, 이를 신뢰성 있게 통합하는 데 어려움을 겪는다.