DiagLoop: 진단용 LLM을 위한 단계별 국소 강화 학습을 포함한 반사실적 데이터 플라이휠
요약
DiagLoop은 인과적 진단 모델을 위한 반사실적 데이터 플라이휠 프레임워크입니다. 합성 시나리오와 단계별 국소 강화 학습을 통해 전문가 주석 없이도 모델의 추론 경로 정확도를 크게 향상시킵니다.
핵심 포인트
- 반사실적 데이터 생성을 통한 학습 감독 체계 구축
- 단계별 국소 강화 학습으로 모델의 특정 추론 단계 개선
- 전문가 주석 없이 합성 데이터만으로 8B 모델 성능 최적화
- 산업 시스템 및 질병 범주 전반에서 기존 베이스라인 능가
인과적 진단 모델(Causal diagnostic models)은 진단이 수리 및 치료를 안내하기 때문에 결론이 증거로부터 어떻게 도출되는지를 설명해야 합니다. 그러나 심각한 사례는 드물고, 기록에는 추론 경로(reasoning paths)가 포함되는 경우가 거의 없으며, 구성 간 데이터 전송이 원활하지 않아 로컬 배포가 복잡해집니다. 우리는 메커니즘 제품군당 한 번 작성된 코드화된 물리적 관계나 임상 가이드라인을 기록된 사례 이상의 학습 감독(training supervision)으로 변환하는 반사실적 데이터 플라이휠(counterfactual data flywheel)인 DiagLoop를 제시합니다. 학습 전용 교사(teacher)는 원인, 맥락 및 관찰을 변화시킴으로써 반사실적 세계(counterfactual worlds)를 제안하며, 독립적인 하이브리드 검사기(hybrid checker)는 유효한 세계만을 수용합니다. 학생(student) 모델은 증상 추상화(symptom abstraction), 인과 사슬 구축(causal-chain construction), 근본 원인 귀속(root-cause attribution)을 통해 추론합니다. 단계별 기준(Stage-specific criteria)은 모델의 가장 초기 실패를 식별합니다. 비종단적 실패(nonterminal failures)의 경우, 제한된 수리(bounded repair)가 다운스트림 역량을 탐색하며, 결과적으로 생성된 약점 프로필(weakness profile)이 후속 데이터 생성을 안내합니다. 단계별 국소 강화 학습(Stage-localized reinforcement learning)은 모델이 생성한 연속 부분만을 업데이트하며, 리플레이(replay)와 보존(preservation)은 망각을 줄입니다. 동일한 기준이 제안자(proposer)와 분리된 검사를 통해 수용, 귀속, 보상 및 재생을 관리합니다. 사례 수준의 전문가 추론 주석 없이 합성된 시나리오만을 사용하여, 결과물인 8B 모델은 가장 강력한 기존 베이스라인(baseline)보다 엄격한 경로 정확도(path correctness)를 개선했습니다. 이득은 8개의 산업 시스템 전반에서 11.6포인트, 10개의 질병 범주 전반에서 5.5포인트입니다. 무작위 라우팅 제어(deranged-routing control) 대비 이득은 각각 3.9포인트와 2.3포인트입니다. 또한 이 모델은 평가된 독점 참조 모델(proprietary references)들이 퓨샷 예시(few-shot examples)나 컨텍스트 내 명세(specification in context)를 제공받는 경우에도 두 영역 모두에서 성능을 능가합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기