KnowledgeGain: 독자의 학습을 위한 과학 뉴스 생성 평가 및 최적화

과학 뉴스(Science news)는 연구 커뮤니티와 대중 사이에서 발견을 전달하는 중요한 매체입니다. 하지만 생성되거나 요약된 텍스트를 평가하는 대부분의 지표는 의미적 유사성(semantic similarity)과 사실적 일관성(factual consistency)을 평가할 뿐, 독자가 뉴스를 통해 얼마나 많은 지식을 습득하는지는 측정하지 못합니다. 우리는 독자가 뉴스를 읽은 후 얻은 지식의 양을 측정함으로써 과학 뉴스의 품질을 평가하는 지표인 KnowledgeGain을 소개합니다. 이 지표를 평가하기 위해, 우리는 먼저 통제된 인간 연구(controlled human study)를 수행하였으며, 이 지표가 서로 다른 유형의 과학 미디어를 읽는 인간 독자들이 얻는 지식의 차이를 성공적으로 포착함을 보여주었습니다. 이 데이터를 통해 우리는 프롬프트 전용 LLM(Large Language Model) 독자 시뮬레이터를 보정(calibrate)할 수 있었습니다. 우리는 이를 사용하여 인간 평가 전에 후보 기사들을 순위 매기고 필터링합니다. 두 번째 인간 연구에 따르면, 이 시뮬레이터로 선택된 기사들은 강력한 생성 베이스라인(generation baseline)에 비해 읽기 후 정확도(post-reading accuracy)와 정규화된 KnowledgeGain을 향상시킵니다. 우리의 연구는 Bloom의 교육 목표 분류학(Bloom's Taxonomy)의 지식 및 이해 목표를 더 잘 충족하는 과학 뉴스를 생성하기 위한 단계입니다.