종단적 암 치료 과정을 아우르는 환자별 루브릭 기반 LLM 평가

요약

본 연구는 암 치료의 종단적 과정을 평가하는 단계 인식 벤치마크(NPC-RubricBench)를 소개합니다. LLM을 평가한 결과, 높은 진단 성능이 반드시 후속 치료 과정 개선으로 이어지지 않음을 확인했습니다. 또한, 질의 정밀도에 따른 의사 결정 품질과 안전성 간의 상충 관계를 제시하며 단계 적응형 AI 설계의 중요성을 강조합니다.

핵심 포인트

• LLM 평가는 고립된 만남이 아닌 종단적 치료 경로가 필수적입니다.
• 높은 진단 성능만으로는 후속 치료 과정 개선을 보장할 수 없습니다.
• 실패 양상은 초기 '의사 결정 오류'에서 추후 '의사 결정 누락'으로 변화합니다.
• 광범위한 요청은 품질을 저하시키고, 상세 프롬프트는 안전성을 낮추는 상충 관계가 존재합니다.