RealICU: LLM 에이전트는 긴 문맥의 ICU 데이터를 이해하는가? 행동 모방을 넘어선 벤치마크

요약

본 기사는 중환자실(ICU) 환경에서 대규모 언어 모델(LLMs)의 진정한 추론 능력을 평가하기 위한 새로운 벤치마크, RealICU를 소개합니다. 기존 ICU 벤치마크가 과거 임상의 행동을 정답으로 삼는 한계를 극복하고, 실제 의사들이 전체 환자 궤적을 검토하여 생성한 사후 주석(hindsight-annotated) 데이터를 활용했습니다. 이 벤치마크는 네 가지 핵심 작업(환자 상태 평가, 급성 문제 파악, 권장 조치, 레드 플래그 식별)을 포함하며, LLMs의 성능을 측정하고 안전성 실패 모드와 편향성을 분석하는 데 기여합니다.

핵심 포인트

• RealICU는 기존 ICU 벤치마크가 가진 '과거 행동 기반 정답'이라는 한계를 극복한 사후 주석(hindsight-annotated) 벤치마크입니다.
• 이 벤치마크는 환자 상태 평가, 급성 문제 파악, 권장 조치 등 네 가지 의사 결정 지원 작업을 포함합니다.
• LLMs가 RealICU에서 저조한 성능을 보이며, 특히 '재현율-안전성 트레이드오프'와 '앵커링 편향'이라는 두 가지 실패 모드를 드러냈습니다.
• 연구진은 장기적 추론 개선을 목표로 하는 구조화된 메모리 에이전트(structured-memory agents)를 연구하기 위한 ICU-Evo를 도입했습니다.