대형 언어 모델이 내부 지식과 사용자 및 문서 주장을 어떻게 균형 잡는가

요약

대형 언어 모델(LLMs)이 내부 지식, 사용자 주장, 검색된 문서 등 여러 출처의 정보를 효과적으로 통합하고 균형을 맞추는 것이 시스템 안전성에 매우 중요합니다. 기존 연구는 이러한 다중 출처 상호작용 환경을 충분히 고려하지 못했기 때문에, 본 논문은 세 가지 출처 상호작용 프레임워크를 제안하고 광범위한 실험을 수행했습니다. 그 결과, 대부분의 LLM이 문서 주장을 사용자 주장보다 더 신뢰하는 경향과 외부 정보 구별 능력의 부족을 발견했으며, 이를 개선하기 위해 다양한 출처 상호작용 데이터에 대한 미세 조정(fine-tuning)의 필요성을 제시합니다.

핵심 포인트

• LLMs는 내부 지식, 사용자 주장, 검색 문서 등 여러 출처 간의 정보 충돌을 효과적으로 처리할 수 있어야 시스템 안전성이 확보됩니다.
• 기존 연구는 세 가지 출처(내부 파라미터, 사용자, 문서)가 동시에 상호작용하는 환경을 충분히 다루지 못했습니다.
• 실험 결과, 대부분의 LLM은 문서 주장을 사용자 주장보다 더 신뢰하며, 이러한 경향은 후학습 과정에서 강화되는 것으로 나타났습니다.
• 대부분의 모델은 유익한 정보와 해로운 정보를 효과적으로 구별하는 능력이 부족하므로, 출처 상호작용 데이터 기반의 미세 조정이 필수적입니다.