대규모 언어 모델(LLM)은 모델이 무엇을 계산하는지 설명하고, 그 결함을 찾고, 심지어 새로운 지식을 밝혀낼 수 있다는 약속 때문에 임상 예측 모델에 사용됩니다. 우리는 답변을 확인할 수 있는 세 가지 약속을 테스트했습니다.
International Stroke Trial 데이터를 사용하여 이전에 무작위 배정된 환자들을 대상으로 두 가지 결과에 대해 네 가지 종류의 모델(로지스틱 회귀(logistic regression), 설명 가능한 부스팅 머신(explainable boosting machine), 그래디언트 부스팅 트리(gradient-boosted trees), 신경망(neural network))을 훈련시켰습니다. 이 중 24개의 복사본 각각에 하나의 결함(과소 예측된 하위 그룹, 역전된 위험 요소 또는 비현실적인 단계)을 심고, 이를 8개의 깨끗한 모델과 혼합했습니다.
GPT-6 Astra는 모델의 예측 결과만을 반환하는 도구를 통해 각 모델을 세 번, 블라인드로 감사했습니다. 심사 규칙은 실행 전에 확정되었고 프로그램에 의해 적용되었습니다. 중앙값이 128개 항인 이 대리 모델(surrogate models)은 평균 $R^2$ 값 0.976 (분석가가 적합시킨 42개 항의 가법적 대리 모델의 경우 0.959)으로 감사된 모델들의 로그 오즈(log-odds)를 재현했습니다.
이 모델은 72회 중 69회(96%; 95% CI 80% to 99%)에서 심어진 결함을 발견했습니다. 목적을 위해 작성된 스크립트는 24개 모두를 발견했습니다. 또한 더 많은 문제점들을 보고했는데, 1,089개의 검사 가능한 보고서 중 60%가 모델의 평균 행동에 대한 사전 지정 검사를 통과하지 못했습니다. 사후 분석 결과(post hoc), 이들 대부분은 실제이지만 작은 단계였으며, 검사 가능한 보고서 중 15%는 모델에서 발견되지 않았습니다.
깨끗한 모델들에서 읽어낸 601개의 예상치 못한 관계 중, 나중에 무작위 배정된 환자에게서 11%가 유지되었고 (랜덤 쌍은 6%; 회귀 스캔의 가장 강력한 후보 목록은 28%); 훈련 데이터에 대한 확인 후에는 33%가 30%와 비교되었습니다.
오직 질의 접근만으로도 LLM은 블랙박스 모델을 충실하게 설명하고 목적에 의해 작성된 스크립트가 했던 것처럼 거의 모든 심어진 결함을 찾을 수 있습니다. 다만, 이 모델이 보고하는 문제점들은 모델 자체에서 확인해야 하며, 발견한 지식들은 데이터에서 확인해야 합니다.