ControBench: 소셜 네트워크의 논쟁적 담론 분석을 위한 상호작용 감지 벤치마크

요약

ControBench는 소셜 네트워크에서 발생하는 복잡한 논쟁적 담론을 분석하기 위해 설계된 새로운 벤치마크입니다. 이 데이터셋은 Reddit의 실제 토론 데이터를 기반으로 하며, 풍부한 텍스트 의미론과 상호작용 그래프 구조를 결합하여 기존 데이터셋의 한계를 극복했습니다. ControBench는 사용자-댓글-사용자 간의 지역적 논쟁 맥락을 보존하는 방식으로 설계되었으며, 이를 통해 GNN 및 LLM 같은 모델들이 실제 세계의 복잡한 온라인 토론 환경에서 어떻게 작동하는지 평가할 수 있게 합니다.

핵심 포인트

• ControBench는 텍스트 의미론과 상호작용 그래프 구조를 결합하여 논쟁적 담론 분석에 최적화된 벤치마크이다.
• 데이터셋은 Reddit의 실제 토론(Trump, 낙태, 종교)을 기반으로 하며, 사용자-댓글-사용자 간의 지역적 맥락을 보존하는 것이 특징이다.
• 사용자의 이념적 정체성은 Flair에서 파생된 라벨을 통해 제공되어 확장 가능한 대안(proxy) 역할을 한다.
• 이 벤치마크를 사용하여 GNN, 사전 학습 언어 모델, LLM 등의 성능을 평가했으며, 특히 이념적 경계가 모호한 상황에서 흥미로운 패턴을 발견했다.