중환자실 (ICU)은 길고 밀집되며 지속적으로 변화하는 임상 정보 스트림을 생성하며, 의사들은 시간적 압박 속에서 환자의 상태를 반복적으로 재평가해야 하므로 신뢰할 수 있는 AI 의사결정 지원 (decision support)에 대한 명확한 필요성이 강조됩니다. 기존의 ICU 벤치마크들은 일반적으로 과거 임상의의 행동을 정답 (ground truth)으로 취급합니다. 그러나 이러한 행동들은 기저에 깔린 환자 상태에 대한 불완전한 정보와 제한된 시간적 문맥 (temporal context) 하에서 이루어지므로 최선이 아닐 수 있으며, 이로 인해 AI 시스템의 진정한 추론 능력을 평가하기 어렵게 만듭니다. 우리는 시니어 의사들이 전체 환자 궤적 (trajectory)을 검토한 후 라벨을 생성하는, 실제 ICU 조건 하에서 대규모 언어 모델 (LLMs)을 평가하기 위한 사후 주석 (hindsight-annotated) 벤치마크인 RealICU를 소개합니다. 우리는 의사의 동기에 기반한 네 가지 작업(task)을 구성했습니다: 환자 상태 (Patient Status) 평가, 급성 문제 (Acute Problems) 파악, 권장 조치 (Recommended Actions), 그리고 안전하지 않은 결과를 초래할 위험이 있는 레드 플래그 (Red Flag) 조치 식별입니다. 우리는 각 궤적을 30분 단위의 윈도우 (window)로 분할하였으며, 두 가지 데이터셋을 공개합니다: 94명의 MIMIC-IV 환자로부터 얻은 930개의 윈도우 주석이 포함된 RealICU-Gold, 그리고 의사가 검증한 LLM 사후 라벨러 (hindsight labeler)인 Oracle에 의해 확장된 11,862개의 윈도우를 포함하는 RealICU-Scale입니다. 메모리 증강 (memory-augmented) 모델을 포함한 기존의 LLMs는 RealICU에서 저조한 성능을 보였으며, 두 가지 실패 모드(failure modes)를 드러냈습니다: 임상 권장 사항에 대한 재현율-안전성 트레이드오프 (recall-safety tradeoff), 그리고 환자에 대한 초기 해석에 치우치는 앵커링 편향 (anchoring bias)입니다. 우리는 더 나아가 장기적 추론 (long-horizon reasoning)을 개선하지만 안전성 실패를 완전히 제거하지는 못하는 구조화된 메모리 에이전트 (structured-memory agents)를 연구하기 위해 ICU-Evo를 도입합니다. 종합적으로, RealICU는 고위험 케어 상황에서 AI의 순차적 의사결정 지원 (sequential decision-support)을 측정하고 개선하기 위한 임상적 근거를 갖춘 테스트베드를 제공합니다. 프로젝트 페이지: https://chengzhi-leo.github.io/RealICU-Bench/