실패 분류 체계에서 개입으로: 비디오 및 라이브 스트리밍 플랫폼 모더레이션을 위한 산업 규모 AVLM의 진단 방법론

산업 규모의 비디오 및 라이브 스트리밍 모더레이션 (moderation)은 플랫폼 특유의 데이터 분포, 정책 특화 목적 (policy-specific objectives), 제품 수준의 안전 제약 조건에 대한 적응을 포함하여, 일반적인 사전 학습된 공개 모델이나 외부 API로는 충족하기 어려운 요구 사항을 부과합니다. 그 결과, 플랫폼은 내부 모델 개발을 수행해야 하며, 자연스럽게 가이드를 얻기 위해 공유된 공개 연구로 눈을 돌리게 됩니다. 그러나 기존의 멀티모달 파운데이션 모델 (multimodal foundation-model) 연구들은 주로 아키텍처 (architectures), 학습 레시피 (training recipes), 데이터 스케일링 전략 (data scaling strategies), 그리고 벤치마크 결과만을 보고할 뿐, 실패를 어떻게 국지화 (localized)하고 이를 표적화된 모델 개발 개입 (interventions)으로 전환해야 하는지에 대한 체계적인 가이드는 거의 제공하지 않습니다. 배포 실패는 스스로 설명되는 경우가 드물기 때문에 개입 (interventions)은 필수적입니다. 유사한 실패가 서로 다른 원인에서 비롯될 수 있기 때문입니다. 표적화된 개입 없이는 개선 작업이 휴리스틱한 시행착오 (heuristic trial-and-error)로 전락하게 되며, 이 경우 벤치마크 개선의 원인을 약하게 귀속시키기 어렵고 실패의 근본 원인을 추적하기도 어렵습니다. 이러한 격차를 해소하기 위해, 우리는 산업 규모의 오디오-비주얼-언어 모델 (Audio-Visual-Language Models, AVLM) 개발을 위한 진단 방법론을 제시합니다. 이 방법론은 모델의 실패를 관찰 가능한 실패 시그니처 (failure signatures)의 분류 체계로 매핑하고, 각 실패 클래스를 개입 공간 (intervention space)과 연결합니다. 우리는 대규모 비디오 및 라이브 스트리밍 플랫폼을 위한 AVLM 파운데이션 모델의 개발 및 정렬 (alignment) 라이프사이클 전반에 걸쳐 이 방법론을 구현합니다. 결과적으로 구축된 시스템은 100개 이상의 지역을 지원하며, 글로벌 플랫폼 트래픽에서 추출된 노이즈가 많고 모호하며 매우 다양한 콘텐츠를 처리하도록 설계되었습니다.