독립적인 검증 경로는 독립적이지 않다: 위성 카탈로그 파이프라인의 공통 모드 오류 사례 연구

데이터 파이프라인을 위한 일반적인 안전장치 중 하나는 중복 계산(redundant computation)입니다. 즉, 각 발행된 숫자를 서로 다른 기술로 구축된 두 경로를 통해 도출하고, 이들이 불일치할 때 종료하는 것입니다. 우리는 지구 궤도 물체에 대한 두 개의 공개 레지스터의 교차 카탈로그 무결성 연구에서 이러한 게이트가 실패한 사례를 보고합니다. 세트 기반 Python 경로와 방출된 RDF 그래프에 대한 SPARQL 쿼리를 비교하는 게이트는 일곱 가지 항목 모두 '모든 교차 확인이 일치함(ALL CROSS-CHECKS AGREE)'을 출력했습니다. 그중 세 개는 틀렸고, 하나는 네 배 이상 과장되었습니다(932 대 220). 두 경로 모두 소스 출처의 상태 어휘를 잘못 읽은 것을 인코딩한 동일한 상수들을 가져왔기 때문에, 오류는 공통 모드였으며 게이트가 이를 감지할 수 없었습니다. 우리는 모든 수치를 조정하는 객체 수준 원장(object-level ledger) 메커니즘과 소스 문서에 기반한 세 가지 검사를 제시하고, 결함이 있는 코드와 그 수정본에 대해 측정했습니다. 그런 다음 이 수정본을 파이프라인이 절대 읽지 않은 소스 파일에 보관된 각 객체의 위상 기록(phase history)과 비교했습니다. 이 수정본 역시 틀렸습니다: 261개의 불일치 중 42개는 인공물(artefacts)이며, 우리의 세 가지 검사 중 어느 것도 이를 플래그 지정하지 못했습니다. 마지막으로, 세 개의 고정된 모델과 비활성화된 도구로 통제된 복제를 통해 요청 시 생성된 75개의 경로 중 72개가 독립적인 확인 계산을 수행하여 결함이 있는 개수를 산출했으며, 프롬프트가 소스 자체의 코드 정의를 포함했을 때도 30개 중 29개가 이를 수행했습니다. 이 증거는 하나의 파이프라인과 하나의 결함 계열입니다. 그 안에서, 중복성은 구현을 검증했지만, 출판에 도달한 오류들은 의미의 오류였습니다.