타임라인 기반 증언: 시간적 임상 가설에 대한 증거 기반 유의성 검정

요약

언어 모델은 시간적 임상 가설에 대해 통계적 검증 과정 없이 결론만 도출하는 경향이 있습니다. 이를 해결하기 위해 본 글은 임상 타임라인 기반의 벤치마크 STRATA와 단계별 분석 패러다임 ART를 제안합니다. 실험 결과, 시스템들은 주로 관련 기록 선택 단계에서 실패하며, ART는 오픈 모델의 성능을 최첨단 수준으로 끌어올렸습니다.

핵심 포인트

• LLM은 시간적 패턴에 대한 결론만 제시하고 통계적 검증 과정을 생략합니다.
• STRATA는 임상 타임라인 기반의 포괄적인 증거 기반 유의성 검정 벤치마크입니다.
• ART(articulate, retrieve, test)는 모든 결정 단계를 노출하는 단계적 분석 패러다임을 제시합니다.
• 시스템들은 관련 기록 선택 과정에서 성능 격차를 보였으며 ART가 이를 해소했습니다.