Bye Bye Perspective API: NLP, CSS 및 LLM 평가의 측정 인프라에 대한 교훈

요약

Perspective API의 폐지는 NLP, CSS, LLM 평가 분야에서 자동 독성 측정의 표준이던 도구가 사라짐에 따라 중요한 구조적 변화를 예고합니다. 이로 인해 연구 커뮤니티는 단일 기업의 운영적 정의와 비재현 가능한 결과물에 의존해 왔다는 인식론적 문제에 직면했습니다. 본 논문은 이러한 상황을 독립적이고, 유효하며, 적응 가능하고, 재현 가능한 독성 및 혐오 표현 측정 인프라를 구축해야 할 기회로 보고 기술적 및 거버넌스 요건을 제시합니다.

핵심 포인트

• Perspective API의 폐지는 NLP/LLM 평가 분야에 큰 구조적 변화를 가져올 것이다.
• 기존 연구는 단일 기업(Google)의 운영적 정의와 비재현 가능한 점수에 과도하게 의존해왔다.
• 이러한 상황은 업데이트 불가능하고 재현 불가능한 벤치마크 및 결과를 남길 위험을 초래한다.
• 연구 커뮤니티는 폐지를 계기로 독립적이고, 유효하며, 적응 가능하고, 재현 가능한 독성 측정 인프라를 구축해야 한다.