긴 문서 작업용 코딩 에이전트의 마지막 구간: 임상 시험 프로토콜 디지털화에 대한 실증 연구

임상 시험 프로토콜은 연구 설계의 진실 공급원 역할을 하지만, 대부분 비정형 PDF 문서로 작성되고 사용됩니다. 프로토콜을 디지털화하면 정적인 콘텐츠가 클리니컬 소프트웨어가 분석하고, 검증하며, 실행할 수 있는 구조화된, 기계 판독 가능한 데이터로 변환됩니다. 도구를 선택하고, 코드를 실행하며, 작업하는 과정에서 접근 방식을 수정하는 코딩 에이전트(coding agents)는 이러한 장문 문서 작업에 점점 더 많이 적용되고 있지만, 이들이 완전한 문서를 얼마나 신뢰성 있게 정확한 구조화된 출력으로 변환할 수 있는지는 여전히 불분명합니다. 우리는 프로토콜 디지털화를 테스트베드로 사용하여 이 질문을 연구합니다. 우리는 네 가지 작업 범주에 걸쳐 150개의 공개적으로 사용 가능한 프로토콜 PDF로 구성된 전문가 주석 기반의 벤치마크인 TrialPD-Bench를 소개합니다. 최종 답변 성능 외에도, 우리의 평가는 에이전트 추적(agent traces)으로부터의 증거 회상(evidence recall), 에이전트 행동, 그리고 비용을 측정합니다. 다섯 가지 코딩 에이전트 하네스에서 아홉 가지 독점 및 오픈 웨이트 모델에 걸쳐, 가장 강력한 에이전트조차도 프로토콜 디지털화를 완전히 해결하지 못했습니다. 우리의 분석은 또한 에이전트들이 일반적으로 필요한 증거를 찾지만, 이를 전사하고 구조화하는 마지막 구간(last mile)에서 실패한다는 것을 보여줍니다. 우리는 또한 코딩 에이전트에 작업 기술과 검증 루프를 장착하는 도메인 특화 하네스인 TrialScribe를 개발했습니다. TrialScribe는 로컬에 서비스되는 오픈 웨이트 모델을 8가지 지표 전반에 걸쳐 6.2점에서 59.4점까지 개선하여, GPT-5.6-Sol과 같은 독점 모델과 동등하거나 능가하는 수준에 도달하게 합니다.