신뢰성, 충실성, 그리고 불투명한 과학적 모델의 사후 설명(Post-hoc Explanations)의 한계

사후 설명 (Post-hoc explanation) 방법론은 과학적 머신러닝 (Scientific machine learning) 모델을 해석하기 위해 일상적으로 사용되며, 이를 통해 모델이 학습한 현상에 대한 통찰을 얻을 수 있는 것으로 이해됩니다. 모델이 충분히 신뢰할 수 있고(reliable) 설명이 충분히 충실하다면(faithful), 이러한 전환이 확보된 것으로 간주될 수 있습니다. 그러나 우리는 그렇지 않다고 주장합니다. 신뢰성 (Reliability)은 모델의 예측이 현상의 결과와 일치하는지를 확인하고, 충실성 (Faithfulness)은 설명이 모델과 일치하는지를 확인하지만, 두 가지 모두 모델이 현상이 작동하는 방식과 동일하게 작동하는지를 확인하지는 않습니다. 이는 구조에 대한 주장이 요구하는 사항입니다. 이 연쇄 과정은 외부적 확증 하에 후보 가설들을 뒷받침할 수는 있지만, 그 자체만으로는 현상이 실제로 어떻게 구조화되어 있는지에 대한 주장을 뒷받침할 수 없습니다.