Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
GitHub 오픈 소스 커뮤니티 내 독성 상호작용을 대규모로 조사하기 위한 저비용 인간 참여형(HITL) 주석 방법론을 제안합니다. LLM과 랜덤 포레스트 검증기를 결합하여 오분류 가능성이 높은 데이터에만 인간의 검토를 집중함으로써 효율성을 극대화했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기오픈 소스 토론에서의 독성(Toxicity) 상호작용은 기여자들을 소외시키고 프로젝트의 지속 가능성을 위협할 수 있지만, GitHub 독성에 대한 이전의 실증적 연구들은 규모 면에서 제한적이어서 일반화 가능성에 대한 의문을 제기해 왔습니다. GitHub의 독성은 종종 암시적이고 문맥 의존적이기 때문에, 규모를 확장하는 것이 어려우며, 이로 인해 완전 수동 주석(Manual annotation)과 LLM 기반 레이블링(Labeling) 모두 신뢰하기 어렵습니다. 우리는 대규모의 도메인 교정된(Domain-calibrated) 독성 레이블링을 실용적으로 만드는 인간 참여형 (Human-in-the-loop, HITL) 주석 방법론을 제시합니다. 소규모 로컬 LLM에 대한 단 한 번의 호출로 독성 예측과 해석 가능한 이벤트 카테고리 점수 세트를 모두 생성합니다. 그런 다음 경량화된 랜덤 포레스트(Random Forest) 검증기가 해당 점수들을 사용하여 오분류될 가능성이 가장 높은 대화의 작은 하위 집합을 표시함으로써, 필요한 곳에만 인간의 검토를 유도합니다. 이 검증기는 낮은 주석 비용을 추가하면서도 신뢰도 기반(Confidence-based) 및 다중 LLM 베이스라인(Baselines)보다 뛰어난 성능을 보입니다. 우리는 이 파이프라인을 124,000개 이상의 GitHub 이슈(Issue) 및 풀 리퀘스트(Pull request) 대화에 적용합니다. 결과로 생성된 데이터셋을 사용하여, 우리는 이전 소규모 연구의 주요 결과들을 평가하여 일부는 확인하고 일부는 보완하며, 다양한 오픈 소스 프로젝트 전반에 걸친 독성의 유병률, 특성 및 역학에 대한 새로운 통찰을 제시합니다.