ReLay: 개인화된 LLM 생성 평이어 요약의 이해도 향상, 그러나 어떤 비용으로?

평이어 요약 (Plain Language Summaries, PLS) 은 일반 독자에게 연구 결과를 접근 가능하게 만드는 것을 목표로 하지만, 일반적으로 독자의 정보 필요와 이해 수준 차이를 고려하지 않는 '일률적' 스타일로 작성됩니다. 건강 관련 맥락에서는 이 한계가 특히 중요하며, 과학적 정보를 오해할 경우 실제 세계의 결정에 영향을 미칠 수 있기 때문입니다. 대형 언어 모델 (LLM) 은 PLS 를 개인화하는 새로운 기회를 제공하지만, 개인화가 도움이 되는지, 어떤 전략이 가장 효과적인지, 그리고 개인화와 안전성을 어떻게 균형 있게 조정해야 하는지는 아직 명확하지 않습니다. 우리는 정적 (전문가 작성) 과 상호작용형 (LLM 기반 개인화) 설정 모두에서 50 명의 일반 참여자로부터의 300 쌍의 참여자-PLS 쌍을 포함한 ReLay 데이터셋을 소개합니다. ReLay 는 사용자 특성, 건강 정보 필요, 정보 탐색 행동, 이해 결과, 상호작용 로그 및 품질 평가 점수를 포함합니다. 우리는 ReLay 를 사용하여 두 가지 개인화 방법을 통해 5 개의 LLM 을 평가했습니다. 개인화는 이해도와 인지된 품질을 개선하지만, 사용자의 편향을 강화하고 환각 (hallucinations) 을 도입하는 위험도 증가시켜 개인화와 안전성 사이의 트레이드오프를 드러냅니다. 이러한 결과는 다양한 일반 대중을 위한 효과적이고 신뢰할 수 있는 개인화 방법을 필요로 함을 강조합니다.