LLM 지원 임상 논문 작성(Clinical Manuscript Preparation)을 위한 결정론적 무결성 게이트(Deterministic

목적 (Objective). 대규모 언어 모델 (LLMs)이 임상 연구 논문 초안을 작성하는 경우가 점점 늘어나고 있지만, 모델의 유창함은 조작된 인용문, 원본 표와 일치하지 않는 수치, 그리고 보고 지침(reporting-guideline) 항목의 미충족 등을 숨길 수 있습니다. 기존 도구들은 텍스트를 검증하지 않고 생성하며, 자기 비판 (self-critique) 방식은 확신에 찬 허위 정보를 생성하는 사각지대를 그대로 물려받습니다. 본 연구에서는 생성 (generation)과 검증 (verification)을 결합한 아키텍처를 설명합니다.

방법 (Methods). 설계는 세 가지 원칙에 기반합니다: 워크플로우를 독립된 기술 (skills) 단위로 분해하고, 모든 단계의 전환을 실패 시 중단 (halt-on-failure) 방식으로 게이트 (gate) 처리하며, 각 무결성 질문을 가장 저렴하고 충분한 메커니즘으로 해결하는 것입니다. 즉, 하나로 충분한 경우에는 결정론적이고 재실행 가능한 체크 (deterministic, re-executable check)를 사용하고, 해석이 불가피한 경우에만 산문 수준의 조사 (prose-level probe)를 수행합니다. 이러한 '가능한 한 결정론적 (determinism-where-possible)' 분할 방식은 무결성 게이트 분류 체계 (integrity-gate taxonomy)로 조직되며, 이것이 본 연구의 핵심 기여입니다. 이는 하나의 오케스트레이터 (orchestrator)에 의해 조정되는 43개의 기술로 구성된 오픈 소스 툴킷인 MedSci Skills로 구현되었으며, 이 중 결정론적 계층 (deterministic tier)은 21개의 표준 라이브러리 탐지기 (standard-library detectors)로 구성됩니다. 우리는 세 가지 재현 가능한 공개 데이터셋 파이프라인 (STARD, PRISMA, STROBE) 및 결함 주입 소거 연구 (seeded-defect ablation)를 통해 이를 평가합니다.

결과 (Results). 세 가지 파이프라인 모두에서 모든 콘텐츠 해시 (content-hash)가 깨끗함을 확인했으며, 게이트는 실제 결함을 드러냈습니다. 27개의 동일하게 주입된 결함에 대해 결정론적 게이트는 매칭된 깨끗한 고정 장치에서 오탐 (false positives) 없이 27개 모두를 탐지한 반면, 일반적인 단일 프롬프트 LLM 검토자는 11개만을 탐지했습니다. LLM의 누락은 산문이 드러내지 못하는 생성된 코드 (generated-code), 참고문헌 내부 (bibliography-internal), 그리고 스타일 결함에 집중되었습니다.

결론 (Conclusion). '가능한 한 결정론적'인 검증은 인간이 LLM 지원 논문을 확인하는 데 필요한 증거를 드러내는 감사 가능하고 재실행 가능한 추적 경로를 제공합니다. 이는 인간과 경쟁할 만한 품질에 대한 주장이 아니라, 별도의 맹검 연구 (blinded study)에서 다루는 실행 가능성 및 재현성 증거를 제공하는 것입니다. MedSci Skills는 MIT 라이선스이며 아카이브되었습니다 (v3.8.0).