언어 모델이 답변할 때, 우리는 보통 왜 그런지 추정만 할 수 있습니다. 우리는 모든 단계가 Born 측정인 트랜스포머를 구축했습니다. 여기에는 각 행에 대해 정규화된 어텐션 $|\langle q|k\rangle|^4$, 피드 포워드 비선형성(feed-forward nonlinearity) 대신 측정된 곱, 그리고 Born 리드가 포함됩니다. 분모가 입력 값으로 유지됨에 따라, 각 클래스 확률은 단어 진폭(word amplitudes)의 다항식 형태를 가지므로, 그 통합 기울기 증거(integrated-gradient evidence)는 적분 오차 없이 유한 사다리꼴 적분법(finite quadrature)으로 계산됩니다. 즉, 단어들의 기여도가 정보가 없는 공유 부분 위에서 클래스 확률에 합산되며, $10^{-11}$ 또는 그 이상의 정확도를 가집니다.
e-SNLI 자연어 추론(natural language inference)에서, 임베딩을 제외하고 약 98k 개의 파라미터를 가진 이 모델은 $76.98 \pm 0.17$%의 테스트 정확도를 달성했으며, 이는 동일한 크기의 softmax 트랜스포머($76.62 \pm 0.36$%)와 동등합니다.
단어 'its'를 삭제했을 때 증거가 가장 높은 순위인 경우, 테스트 쌍의 45%에서 답변이 변경됩니다. 이는 임의의 단어 하나를 삭제할 때 변화시킬 수 있는 비율(53%) 중 일부입니다. 같은 방식으로 설명한 softmax 모델은 32%로, 어텐션 x 기울기(attention x gradient)는 40%로 나타났습니다.
어텐션은 주석자가 강조 표시한 단어와 더 유사하게 보일 수 있지만, 답변 설명력은 떨어집니다. 단어 'it'을 삭제했을 때 가장 높은 순위인 경우, Born 트랜스포머는 테스트 쌍의 32%에서 답변이 변경됩니다.
동일한 가중치는 광전자 광학(optoelectronic optics)과 큐비트(qubits)에 정확하게 컴파일되며, 일관된 어텐션 레이어는 모델과 동등한 하나의 회로가 됩니다 (23개의 큐비트에 대한 852 CNOTs).
IBM의 ibm_kingston에서, Hadamard 테스트를 통해 어텐션 중첩만을 읽었을 때, 장치는 두 개의 짧은 테스트 쌍에 대해 모델의 답변을 제공했으며, 삭제 조건 하에서도 모델과 마찬가지로 유지하거나 변경했습니다. 하지만 증거 자체는 아직 장치에서 살아남지 못했기 때문에, 저희는 이를 하드웨어에서 측정하는 데 필요한 샷(shots) 수와 보정(calibration) 방법을 연구하고 있습니다.