오픈 소스 언어 모델은 재현성 문제가 있습니다. 가중치(weights), 훈련 데이터, 레시피를 공개했음에도 불구하고, 부동소수점 산술의 비결합성(non-associativity) 때문에 어느 것도 증명 가능한 수준으로 재현될 수 없습니다. 딥러닝 프레임워크는 종종 결정론적 실행 모드(deterministic execution mode)를 제공하여 동일한 기계에서 재현 가능한 연산을 가능하게 합니다. 하지만, 이 결정론성은 하드웨어 전반에 걸쳐 유지되지 않아 사용자가 공개된 체크포인트가 실제로 선언된 훈련 레시피를 사용하여 생성되었는지 확인할 수 없습니다. 이는 학습 증명(proof-of-learning)이나 훈련 데이터 증명(proof-of-training-data)과 같은 기존 기술로는 배제할 수 없는, 미공개 데이터, 주입된 편향(injected biases), 또는 백도어(backdoors)가 존재할 여지를 남깁니다. 우리는 모든 데이터 샘플에 대한 모든 훈련 과정의 연산이 이기종 상용 하드웨어(heterogeneous commodity hardware)에서 비트 단위 확실성(bitwise certainty)으로 독립적으로 재현 가능한, 완전히 감사 가능한 새로운 수준의 모델 투명성을 도입합니다. 훈련 비결정성의 출처인 GPU 커널 축소(GPU kernel reductions), 데이터 병렬 클러스터에서의 데이터 배치 순서 지정(data batch ordering), 그리고 노드 간/노드 내 집합 통신(inter/intra-node collective communication)에 확정적인 순서를 부과함으로써, 우리는 대규모 분산 훈련 과정의 개별 단계를 상용 하드웨어 한 대에서 재실행하고 이를 공개된 궤적(trajectory)과 비교하는 것을 가능하게 합니다. 전체 과정을 하나의 기계에서 재실행하는 것은 비현실적이므로, 우리는 많은 독립적인 감사자들이 각 개별 단계를 인증하여 전체 과정을 포괄적으로 다루는 집합 검증 방식(collective verification scheme)으로 이를 지원합니다. 우리는 이 체제 하에 훈련된 모델인 Open-1B와 함께, 그 완전한 사전 훈련 데이터셋, 모든 중간 체크포인트, 훈련 코드베이스, 그리고 훈련의 모든 단계를 재현하고 검증하는 데 필요한 감사 하네스(audit harness)를 공개합니다.