경험을 통한 개선: 증거 기반 건강 커뮤니티 노트(Community Notes)를 위한 자기 진화형 LLM 에이전트

대규모 언어 모델 (LLM) 기반의 커뮤니티 노트 (Community Notes)는 소셜 플랫폼에서 건강 관련 오정보 (misinformation)를 시의적절하고 증거에 기반하여 수정할 수 있는 확장 가능한 경로를 제공합니다. 그러나 이러한 방식은 매 게시물마다 초기화되어, 이전 사례에서 얻은 유용한 수정 경험을 활용하지 못한다는 한계가 있습니다. 본 논문에서는 이전의 오정보 수정 에피소드에 대한 진화하는 경험 메모리 (experience memory)를 통해 건강 커뮤니티 노트 생성이 스스로 진화할 수 있도록 하는 에이전트 프레임워크인 EvoNote를 소개합니다. EvoNote의 핵심은 세밀한 신용 할당 (fine-grained credit assignment)입니다. EvoNote는 궤적 수준 (trajectory-level)의 피드백을 건강 특화 노트 품질에 근거하여 정립하고, 이를 주장 분석 (claim analysis), 증거 획득 (evidence acquisition), 노트 작성 (note writing)을 위한 행동 수준 (action-level) 메모리로 증류 (distill)합니다. 우리는 인간이 작성한 커뮤니티 노트와 크라우드 소싱 기반의 유용성 레이블이 포함된, 사용자가 플래그를 지정한 건강 관련 게시물 1.2K 인스턴스로 구성된 멀티모달 벤치마크인 MM-HealthCN을 통해 EvoNote를 평가합니다. 인간이 검증한 계층적 유용성 판정 (hierarchical utility judge) 하에서, EvoNote가 생성한 노트는 89.6%의 사례에서 대응하는 인간 작성 노트를 선호했습니다. 크라우드 유용성 판정이 없는 별도의 '추가 평가 필요 (Needs More Ratings)' 게시물 세트에서 EvoNote는 82.0%의 사례에 대해 유용한 노트를 생성했습니다. 또한, EvoNote는 후보 수정안을 생성하는 데 필요한 중앙값 시간을 인간 노트 파이프라인의 13시간 이상에서 2분 미만으로 단축했습니다. 분석 결과, 이러한 성능 향상은 더 강력한 증거 사용 및 재사용 가능한 수정 전략과 연결되어 있으며, 이는 자기 진화형 노트 생성이 건강 오정보 거버넌스를 위한 유망한 패러다임임을 시사합니다.