크라우드소싱은 LLM 시대에 살아남을 수 있을까? 인간 데이터 수집에 관한 커뮤니티 조사

글쓰기 도구로서 대규모 언어 모델 (LLMs)의 광범위한 사용은 크라우드워커 (crowdworkers)가 작업을 모델에 외주를 줄 수 있기 때문에 크라우드소싱 (crowdsourced) 데이터의 유효성에 도전 과제를 제기합니다. 이를 어떻게 해결하고 있는지 더 잘 이해하기 위해, 우리는 NLP (자연어 처리) 및 관련 분야의 연구자 155명을 대상으로 크라우드소싱을 통한 자유 형식 텍스트 (free-text) 응답 수집에 대한 경험과 의견을 조사했습니다. 본 논문은 실무자들이 직면한 과제, 완화 전략 (mitigation strategies), 그리고 데이터 품질에 미칠 것으로 예상되는 영향에 대한 개요를 제공합니다. 응답자의 44%가 크라우드소싱 데이터에서 LLM 사용을 관찰했다고 보고했습니다. 이들 중 93%는 이를 예상했으나, 절반은 어떤 예방 조치를 취해야 할지 확신하지 못했습니다. 가장 널리 사용되는 탐지 전략은 독특한 텍스트 스타일 패턴 (distinctive textual style patterns)과 비정상적으로 빠른 완료 시간입니다. 전반적으로, 설문 응답은 연구 커뮤니티가 이 문제를 인지하고 조치를 취하고 있지만, 기존의 노력은 이를 완전히 해결하기에는 여전히 불충분함을 보여줍니다. 마지막으로, 우리는 LLM 시대의 향후 크라우드소싱 자유 형식 텍스트 데이터 수집을 안내할 일련의 고려 사항을 도출합니다.