과학적 머신러닝 (Scientific machine learning)은 예측 성능을 보고합니다. 하지만 동일한 예측이 훈련 데이터의 다른 추출(draw)에서도 유지될 수 있는지 여부는 보고하지 않습니다. 9개의 화학 벤치마크 (chemistry benchmarks)에 걸쳐, 동일한 훈련 세트의 독립적인 부트스트랩 (bootstraps)으로 훈련된 두 분류기는 총 정확도 측면에서는 $1.3 ext{--}4.2$ 퍼센트 포인트 이내로 일치하지만, 테스트 분자 (test molecules)의 $8.0 ext{--}21.8 ext{%}$에 대해서는 클래스 레이블 (class label)이 일치하지 않습니다. 우리는 이 격차를 extit{샘플 간 예측 변동성 (cross-sample prediction churn)}이라고 부릅니다. 표준적인 파라미터 측면 기술 (deep ensembles, MC dropout, stochastic weight averaging)은 이 격차를 줄이지 못하지만, 두 가지 데이터 측면 방법은 줄일 수 있습니다. 첫 번째는 $K$-부트스트랩 배깅 ($K$-bootstrap bagging)으로, 정확도 손실 없이 모든 데이터셋에서 해당 비율을 $40 ext{--}54 ext{%}$ 절감합니다 ($K{ imes}$-ERM 연산량 소요). 두 번째는 우리가 제안하는 extit{트윈-부트스트랩 (twin-bootstrap)}입니다. 이는 독립적인 부트스트랩으로 공동 훈련된 두 네트워크 사이의 예측값에 대해 sym-KL 일관성 손실 (sym-KL consistency loss)을 적용하는 방식이며, 일치된 $2{ imes}$-ERM 연산량에서 배깅-$K{=}2$보다 변동성을 중앙값 기준 $45 ext{%}$ 추가로 감소시킵니다. 샘플 간 예측 변동성은 과학적 머신러닝 (scientific-ML) 벤치마크 보고서에서 예측 성능과 나란히 다뤄질 가치가 있습니다. 왜냐하면 이 지표가 없다면, 파라미터 측면 방법과 데이터 측면 방법은 실제로 차이가 발생하는 지표상에서 구분이 불가능하기 때문입니다.