본문으로 건너뛰기

© 2026 Molayo

arXiv논문2026. 04. 29. 15:14

Bye Bye Perspective API: NLP, CSS 및 LLM 평가의 측정 인프라에 대한 교훈

요약

Perspective API의 폐지는 NLP, CSS, LLM 평가 분야에서 자동 독성 측정의 표준이던 도구가 사라짐에 따라 중요한 구조적 변화를 예고합니다. 이로 인해 연구 커뮤니티는 단일 기업의 운영적 정의와 비재현 가능한 결과물에 의존해 왔다는 인식론적 문제에 직면했습니다. 본 논문은 이러한 상황을 독립적이고, 유효하며, 적응 가능하고, 재현 가능한 독성 및 혐오 표현 측정 인프라를 구축해야 할 기회로 보고 기술적 및 거버넌스 요건을 제시합니다.

핵심 포인트

  • Perspective API의 폐지는 NLP/LLM 평가 분야에 큰 구조적 변화를 가져올 것이다.
  • 기존 연구는 단일 기업(Google)의 운영적 정의와 비재현 가능한 점수에 과도하게 의존해왔다.
  • 이러한 상황은 업데이트 불가능하고 재현 불가능한 벤치마크 및 결과를 남길 위험을 초래한다.
  • 연구 커뮤니티는 폐지를 계기로 독립적이고, 유효하며, 적응 가능하고, 재현 가능한 독성 측정 인프라를 구축해야 한다.

2026 년 말에 Perspective API 가 폐지됨으로써, NLP, CSS(Computational Social Science), 그리고 LLM 평가 연구 분야에서 자동 독성 측정을 위한 de facto 표준으로 기능해 왔던 것이 사라지게 되었습니다. 우리는 이 단일 전산 도구 위에 구축된 공동체의 구조적 의존성을 문서화하고, 이러한 의존성이 집단적인 연구 노력에 영향을 미쳤으며 (그리고 앞으로도 그럴 가능성이 높음) 어떤 인식론적 문제를 야기했는지 논의합니다. Perspective 의 모델은 버전 관리나 공개 없이 주기적으로 업데이트되었으며, 그 주석(annotation) 구조는 논쟁의 여지가 있는 개념에 대한 단일 기업의 운영적 정의(reflection)를 반영했고, 그 점수들은 동시에 평가 대상이자 평가 기준으로 사용되었습니다. 이 폐지는 업데이트 불가능한 벤치마크, 재현 불가능한 결과를 뒤로 남기고, 결국 이러한 문제를 고착화하기 위해 오픈 소스가 아닌 폐쇄형 LLM 으로 눈을 돌리게 될 위험에 처한 분야를 남겨둡니다. 우리는 Perspective 의 공식적인 종료 선언을 독립적이고 유효하며 적응 가능하고 재현 가능한 독성 및 혐오 표현 측정 인프라를 요구하는 기회로 삼고 있습니다. 본 논문에서 기술적 및 거버넌스 요건을 제시합니다.

AI 자동 생성 콘텐츠

본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
7

댓글

0