TrialAtlas: 임상 시험 설계 및 최적화를 위한 다중 에이전트 연구 조직

임상 개발 단계에 진입하는 의약품의 거의 90%가 수십억 달러의 투자가 이루어짐에도 불구하고 결국 실패합니다. 따라서 제약 회사들은 개발 위험을 예측하기 위해 임상 개발 계획(CDP) 및 기술적/규제적 성공 확률 평가에 의존하지만, 이러한 결정은 여전히 노동 집약적이고 주관적이어서 임상 과학, 통계학, 규제 업무, 경쟁 정보 등 다양한 분야의 전문가들이 이질적인 증거를 공동으로 습득하고, 종합하며, 추론할 것을 요구합니다. 본 논문에서는 CDP를 위한 메모리 증강 다중 에이전트 연구 조직인 TrialAtlas를 소개합니다. 이는 문헌 합성, 경쟁 시험 정보, 규제 선례 분석, 그리고 시험 설계 및 개발 위험에 대한 통합적 추론을 위해 전문화된 에이전트들을 조정함으로써 이러한 협업 과정을 반영합니다. TrialAtlas는 또한 이전의 신약 신청(NDA)을 포함한 역사적인 임상 시험 및 규제 결과를 학습하여 축적된 개발 경험에 기반해 결정을 내립니다. 실제 규제 환경에서 이러한 역량을 평가하기 위해, 우리는 291개의 FDA 완전 답변서(Complete Response Letters)로 구성되고 세 가지 실질적인 과제를 포괄하는 TrialAtlasBench를 도입합니다: 시험 설계 결함 감지, 실행 가능한 설계 개선 권고, 그리고 기술적 및 규제적 성공 예측입니다. TrialAtlas는 결함 감지에서 F1 점수 50.0%를 달성하여 가장 강력한 기준 모델보다 6.1점 높은 성능을 보였으며, 기술적 및 규제적 성공 예측에서는 균형 정확도(balanced accuracy) 85.3%, F1 점수 84.7%를 기록하며 각각 6.7점과 12.0점(Cohen's kappa) 개선된 성능을 보여주었습니다. 전문가 평가에서, TrialAtlas가 생성한 우려 사항 중 86.4%가 유효하다고 판단되었으며, 이는 OpenAI DeepResearch의 83.1%, Gemini DeepResearch의 59.3%와 비교됩니다.