정확한 정수 연산을 사용한 결정론적이고 재현 가능한 추론 및 그 결과로서의 검증 가능한 분산 추론

최적화된 부동 소수점(floating-point) 추론은 환경에 따라 재현성이 보장되지 않습니다. 동일한 모델이라도 다른 하드웨어, 컴파일러 또는 스레드 수에서는 서로 다른 비트 값을 생성할 수 있습니다. 우리는 tritify라는 오픈소스 런타임을 제시합니다. 이 런타임은 실제 모델(디코더 전용 언어 모델(decoder-only language models), Mixture-of-Experts 디코더, 그리고 Segment Anything 2.1 이미지/비디오 스택)의 순방향 전달(forward pass)을 전체 실행 시간 경로를 정확한 정수 연산(exact integer arithmetic)으로 실행합니다. 부동 소수점은 오프라인 양자화(offline quantization)에 국한되며, 검증에 사용되는 부동 소수점 참조 값만 사용됩니다. 우리는 세 가지 별개의 주장을 제시하고 각각을 검증합니다.

(1) 하드웨어 간 재현성: 정수 경로를 통해 생성된 출력은 CPU 명령어 집합 아키텍처 전반과 CPU/GPU 전반에 걸쳐 실행할 때, 반복마다 비트가 동일한 출력을 생성하며, 이는 재현 가능한 SHA-256 해시로 보장됩니다. (2) 결정 충실도(Decision fidelity): 정수 경로는 테스트된 모델 및 입력에 대해 부동 소수점 참조 값의 결정을 재현하며, 수치 예외는 측정되었습니다. 레이어별 충실도는 OLMoE-1B-7B와 1060억 개 매개변수를 가진 MoE에서 16개의 레이어를 거쳐도 충실도의 급격한 하락(fidelity cliff)을 보이지 않습니다. (3) 위치 독립성: 모델의 계산은 명령어 집합, CPU 및 GPU, 그리고 네트워크화된 머신에 걸쳐 분할될 수 있으며 출력 비트에 아무런 영향을 미치지 않습니다. GLM-4.5-Air(106,852,251,264 매개변수, 427 GB의 정수 코드)는 그 답변을 세 대의 머신에 걸쳐 생성했으며, 이 중 어느 것도 RAM에 전체 정수 코드를 담을 수 있었음에도 불구하고 단일 호스트 참조 값과 비트 단위로 동일한 결과를 얻었습니다.

그 결과는 검증 가능한 분산 추론(verifiable distributed inference)입니다. 신뢰할 수 없는 서버나 장치군이 모델을 실행하는 동안, 오픈 스칼라 오라클(open scalar oracle)이 정확한 바이트를 재도출합니다. 부정직한 서버에 대한 보장은 향후 작업으로 남겨둡니다. 우리는 기기별 속도 향상, 부동 소수점 중간 값의 비트 동일성, 또는 기밀성을 주장하지 않습니다.

코드: https://github.com/pelloran-inc/tritify