OPEN-1B: 완전히 감사 가능한 훈련 과정

요약

본 글은 오픈 소스 언어 모델의 근본적인 문제인 '재현성' 문제를 다루며, 기존 기술로는 해결할 수 없었던 훈련 과정의 투명성을 확보하는 새로운 방법을 제시합니다. 저자들은 모든 훈련 연산이 이기종 상용 하드웨어에서 비트 단위로 재현 가능하도록 하여 모델의 완전한 감사 가능한 수준을 도입했습니다.

핵심 포인트

• GPU 커널 축소, 데이터 배치 순서 등 분산 훈련 과정에 확정적 순서를 부여합니다.
• 개별 단계를 독립적으로 인증하는 집합 검증 방식(collective verification scheme)을 사용합니다.
• Open-1B 모델과 함께 전체 훈련 과정을 재현하고 검증할 수 있는 감사 하네스를 공개했습니다.