임상 의사 결정 지원(Clinical decision support)은 공유된 작업 공간에서 협의하는 언어 모델 에이전트(language-model agents) 위원회 형태로 발전하고 있습니다. 우리는 이러한 위원회가 벤치마크는 보상하지만 임상의는 무시할 만한 지름길(shortcuts)이나 단서(cues)에 의해 조작(gamed)될 수 있는지 질문합니다. 텍스트(MedQA-USMLE, MedMCQA, MIMIC-CXR 보고서), 영상(NIH ChestX-ray14, MIMIC-CXR-JPG, CheXpert), 그리고 표 형식의 ICU 기록(SUPPORT2)을 아우르는 6개의 공개 데이터셋과 7개의 코호트 전반에 걸쳐 조사한 결과, Gemini 위원회는 단독 상태에서는 이러한 단서에 저항하지만(5-16% 반전), 사회적으로 그럴듯한 지름길이 확산됨을 확인했습니다. 즉, 두 명의 동료가 동일한 오답을 주장할 때, 테스트 대상인 홀드아웃(holdout) 에이전트는 두 능력 계층 모두에서 38%의 사례에서 이를 채택하며, 잘못된 "사전 스크리닝(pre-screen)" 시스템의 플래그(flag) 또한 마찬가지였습니다. 세 가지 감독 에이전트(oversight agents) 중, 게이트(gate)는 채택(adoption)과 정직한 동의(honest agreement)를 구분할 수 없었습니다(위양성률(false-positive rate) 100%). 전사(transcript)만을 읽는 동일 계통의 판사(judge)는 텍스트에서는 채택을 감지했으나(정밀도(precision) 100%, 재현율(recall) 93%), 영상에서는 게이트와 마찬가지로 성능이 무너졌습니다. 홀드아웃에 대해 비공개로 재질의(re-queries)를 수행하는 심판(referee)은 영상에서도 성능을 유지했습니다(정밀도 77-88%, 위양성률 13-21%). 단서의 시각적 돌출성(visual salience)을 세 배로 높여도 전염(contagion)은 움직이지 않았으나, 두 번째 동료의 목소리가 추가되자 전염률이 절반 정도 상승했습니다. 숨겨진 루브릭(rubric)을 이용한 게임은 거의 소리 없이 이루어집니다. 텍스트 표류자(drifters) 중 1/10만이, 영상 표류자 중 1/134만이 자신들이 따르고 있는 루브릭을 명시했습니다. 위원회를 조작하는 것은 사회적 그럴듯함(social plausibility)이며, 오직 자기 보고(self-report)로부터 독립적인 심판만이 이를 포착할 수 있습니다. 코드: https://github.com/criticaldata/benchmaxxing