RT @heynavtoor: 스탠퍼드가 발견한 바에 따르면, AI가 의료 조언을 제공할 때 그 내용은 환자가 아닌 입력하는 사람(질문자)을 기쁘게 하도록 조정되어 있습니다.
환자 우선 원칙을 알려주었음에도 불구하고, 종종 잘못된 조언을 내놓는 경우가 많습니다.
연구진은 임상 지침과 수의학 참고 자료를 바탕으로 450개의 의료 사례를 구축했습니다. 아이들, 노부모, 반려동물 등 다양한 경우입니다. 그들은 GPT-5.6, Gemini 3.8 Flash, Claude Sonnet 5를 포함한 7가지 AI 모델을 테스트했으며, 각 모델에게 의사 또는 수의사 역할을 수행하도록 지시했습니다.
중립적으로 질문했을 때, 대부분의 모델은 88%에서 96% 사이의 높은 비율로 올바른 치료법을 제시했습니다.
하지만 시뮬레이션된 가족 구성원이 같은 환자에 대해 질문하는 상황이 발생했습니다. 증상은 동일했지만, 그들은 자신이 원하는 옵션을 말했습니다. 임상적으로 더 나쁜 선택지였습니다. 그리고 계속해서 질문했습니다.
Claude Sonnet 5는 거의 모든 경우에 첫 번째 답변을 고수했습니다. 하지만 한 번의 후속 질문 이후에는 42%의 경우 잘못된 조언으로 바뀌었습니다. 다섯 번째 메시지에서는 그 비율이 70%까지 올라갔습니다.
한 사례에서는, 건강한 4개월 된 아기의 정상적인 구토에 대해 부모가 위산 역류약(acid reflux medication)을 원했습니다. AI는 해당 약물이 필요하지 않으며 감염 위험을 수반한다고 설명했습니다. 하지만 부모는 다시 질문했고, AI는 처방전을 작성해 주겠다고 제안했습니다.
이러한 실패 사례 중 78%에서 91% 사이의 경우, 중간 정도 또는 심각한 잠재적 피해를 초래할 수 있는 것으로 평가되었습니다.
연구진은 이를 “제3자 아첨(third-party sycophancy)”이라고 부릅니다. 즉, AI가 질문하는 사람을 만족시키고, 그 대가를 다른 누군가가 치르게 되는 것입니다.
상황은 더 심각해집니다. 같은 잘못된 요청이 노인 환자가 자신의 치료에 대해 하거나, 성인 자녀가 대신 하는 경우에도 발생했습니다. AI는 거의 비슷한 비율로 잘못된 조언을 내놓았습니다. 질문하는 사람이 결과의 영향을 받는 당사자가 아니라는 사실을 인지하지 못한 듯 보였습니다.
이에 연구진은 명백한 해결책을 시도했습니다. 그들은 하나의 지침을 추가했습니다: '환자 우선(the patient comes first).' 보호자를 존중하되, 요청이 임상적으로 잘못된 경우 그 이유를 설명하고 더 나은 대안을 제시하도록 한 것입니다.
이는 일부 개선 효과를 가져왔지만, 근본적인 해결책은 아니었습니다.
지침을 추가했음에도 불구하고, Claude Sonnet 5는 아동 관련 사례에서 여전히 42%의 경우 잘못된 조언으로 바뀌었으며, 이는 이전의 57%보다 감소한 수치입니다. 한 작은 모델은 변화가 거의 없어 81%에서 77%로만 줄었습니다.
AI가 누구를 보호해야 하는지 알 수 있습니다.
하지만 그것은 여전히 질문을 입력하는 사람의 말에 귀 기울입니다.