중국 생성형 콘텐츠 규정 준수에 대한 LLM 벤치마킹
요약
본 논문은 중국의 복잡한 AI 생성 콘텐츠 규정 준수 요구 사항을 다루기 위해 새로운 벤치마킹 프레임워크를 제시합니다. 이 프레임워크는 2303개의 질문으로 구성되어 20개 LLM에 대한 규정 준수 및 거부율 평가 결과를 제공하며, 중국어 환경에서의 모델 성능 분석에 기여합니다.
핵심 포인트
- 중국 AI 콘텐츠 규제 준수를 위한 새로운 벤치마킹 프레임워크를 설계함.
- 20개 LLM을 대상으로 6가지 차원에 걸쳐 광범위한 평가를 수행함.
- 글로벌 모델들도 중국어 질문에서 높은 수준의 규정 준수 능력을 보였음.
- 규제 환경에 대한 통일된 글로벌 벤치마크 구축 필요성을 제기함.
LLM의 광범위한 채택은 증가하는 콘텐츠 규정 준수 위험을 초래했습니다. 이전 연구들은 영어 맥락에서 이러한 위험을 다루는 데 기여했으나, 중국어 콘텐츠의 복잡성을 과소평가했습니다. 본 논문은 중국의 현재 AI 생성 콘텐츠 규정 준수 요구 사항을 따르며, 20개의 주목할 만한 LLM에 대한 평가 결과를 제공하여 중국의 규제 환경에 대한 통찰력을 제시합니다. 우리는 203개의 자체 구성된 헌법적 질문을 포함하여 여섯 가지 개별 차원에 걸친 2303개 질문으로 규정 준수 및 거부율을 평가하기 위한 새로운 프레임워크를 설계했습니다. 이 프레임워크는 계층적 정렬 메모리(hierarchical alignment memory)를 기반으로 독립적인 판결을 생성하는 여러 심판관들을 사용합니다. 우리의 연구 결과에 따르면, 국제 모델들 역시 표준 중국어 질문을 사용했음에도 불구하고 높은 수준의 규정 준수를 보였으며, 주요 차이점은 이념적 정렬과 밀접하게 관련된 차원에서 비롯될 수 있습니다. 우리는 글로벌 AI 커뮤니티가 법적으로 근거한 통일된 규정 준수 요구 사항 하에 중국어 및 비중국어 LLM 모두를 평가할 수 있도록 하는 규제 벤치마크를 구축합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기