RedditPersona: Reddit 데이터를 활용한 커뮤니티 조건부 LLM 적응을 위한 모듈형 프레임워크

커뮤니티 조건부 언어 모델 적응 (Community-conditioned language model adaptation)은 데이터 수집, 커뮤니티 정의, 그리고 평가에 관한 선택이 현재 각 연구에서 독립적으로 이루어지고 있어, 가정(assumptions)을 비교하거나 결과물(artifacts)을 재사용하기 어렵게 만듭니다. 본 논문에서는 이러한 선택 사항들을 표준화하는 모듈형 프레임워크인 RedditPersona를 제시합니다. 이 프레임워크는 Reddit 게시물과 댓글을 수집하고, 활성 사용자의 프로필을 작성하며, 이들을 다섯 가지 그룹화 전략(subreddit 기반, 그래프 구조적 (graph-structural), 의미론적 (semantic), 하이브리드 (hybrid), 상호작용 기반 (interaction-based))에 따라 분할합니다. 또한 QLoRA를 통해 각 전략별로 매개변수 효율적 어댑터 (parameter-efficient adapter)를 학습시키며, 유창성 (fluency), 충실도 (fidelity), 분포 정렬 (distributional alignment), 그리고 커뮤니티 식별 가능성 (community identifiability)을 아우르는 공유 지표 세트를 통해 이를 평가합니다. 도시 웰빙 (urban well-being) 도메인의 112개 subreddit (301,429개의 사용자 프로필, 1,600만 개 이상의 댓글)에 적용한 결과, 어댑터의 행동 식별 가능성 (behavioral identifiability)이 각 전략의 subreddit 베이스라인과의 내재적 일치도를 추적하며, 다섯 가지 전략 모두에서 식별 가능성과 실제 텍스트와의 분포 유사성 (distributional similarity) 사이의 일관된 트레이드오프 (trade-off)가 존재함을 확인했습니다. 코드와 설정 파일은 다음에서 확인할 수 있습니다: https://github.com/Ahghaffari/redditpersona.