LLM StructCore: 스키마 기반 추론과 결정적 컴파일을 통한 의료 기록 자동화

요약

의료 노트에서 복잡한 Case Report Form (CRF)을 채우는 작업은 노이즈가 많고 엄격한 출력 계약(strict output contracts) 때문에 어렵습니다. 본 논문은 이러한 문제를 해결하기 위해, 단일 단계 LLM 예측 방식 대신 2단계 구조를 제안합니다. 첫 번째 단계에서는 스키마 기반 추론 (Schema-Guided Reasoning, SGR)을 통해 핵심 도메인 키가 포함된 안정적인 JSON 요약을 생성하고, 두 번째 단계에서는 이 요약을 파싱하여 공식 통제 어휘(controlled vocabulary)에

핵심 포인트

• 본 시스템은 단일 LLM 예측 대신, (1) SGR 기반의 JSON 요약 생성과 (2) 결정적 컴파일러를 사용하는 2단계 구조로 설계되었습니다.
• Stage 1에서 추출된 핵심 도메인 키는 정확히 9개이며, 이는 노이즈가 많은 원본 데이터에서 안정적인 정보를 압축합니다.
• Stage 2의 컴파일러는 예측을 공식 통제 어휘에 정규화하고, 증거 게이트(evidence-gated)를 통해 오탐지(false positive)를 필터링하는 결정론적 과정을 거칩니다.
• 개발 환경 (dev80 split)에서 최고 성능은 영어 0.6543, 이탈리아어 0.6905의 Macro-F1 점수를 달성했습니다.
• 파이프라인은 언어 독립적(language-agnostic)이며, 이탈리아어 결과가 추가적인 언어별 엔지니어링 없이 영어와 동등하거나 능가하는 성능을 보였습니다.