의학 연구 분석을 위한 기술 증강 AI 에이전트: NSCLC 전사체 바이오마커 과업에서의 탐색적 다중 모델 인간 평가

배경 (Background). 대규모 언어 모델 (Large language models) 및 AI 에이전트 (AI agents)가 생물 의학 연구를 지원하는 데 점점 더 많이 사용되고 있지만, 모델 자체의 출력물은 핵심적인 분석 단계를 누락하거나, 방법론을 오용하거나, 결론을 과장할 수 있습니다. 우리는 의료 연구 기술 패키지에 대한 자율적인 접근이 기술이 없는 기존 AI와 비교했을 때 더 높은 품질의 AI 생성 전사체 (transcriptomic) 연구 분석 결과물과 관련이 있는지 평가했습니다. 방법 (Methods). 우리는 비소세포폐암 (non-small cell lung cancer, NSCLC) 면역 요법 바이오마커 과업을 사용하여 탐색적 다중 모델 인간 평가를 수행했습니다. 6개의 모델 백본 (model backbones)을 테스트했습니다. 평가는 21개의 익명화된 결과물을 포함했습니다: 9개의 기존 AI (native-AI) 출력물과 OpenClaw로 구현된 AI 에이전트를 통해 생성된 12개의 기술 증강 (skill-augmented) 출력물입니다. 4명의 비전문가 생물 의학 검토자와 2명의 블라인드 전문가가 각 출력물을 평가하였으며, 각 검토자 유형별로 2회의 평가를 진행했습니다. 주요 결과 지표는 전문가가 평가한 전반적인 품질이었습니다. 결과 (Results). 기술 증강 출력물은 기존 AI 출력물보다 방향성 측면에서 더 높은 전문가 전반적 품질을 보여주었습니다 (평균 5.50 대 5.11; 차이=0.39; bootstrap 95% 신뢰 구간 (CI), -0.04 ~ 0.90; Welch p=0.156). 비전문가 검토자 품질 또한 동일한 방향을 보였습니다 (평균 4.72 대 4.47; 차이=0.26; bootstrap 95% 신뢰 구간 (CI), -0.25 ~ 0.80; Welch p=0.373). 전문가 간의 일치도는 제한적이었으며 (단일 평가 ICC=-0.15), 모델별 효과는 기술적이고 이질적이었습니다. 결론 (Conclusions). 이 탐색적 샘플에서 자율적인 기술 접근은 방향성 있는 품질 신호를 보여주었으나, 그 신호는 전문가 평가의 노이즈보다 작았으므로 확증적 증거로 해석되어서는 안 됩니다. 본 연구 결과는 더 강력한 신뢰성 제어, 플랫폼 복제 및 생물학적 타당성 평가를 갖춘 기술 증강 AI 에이전트에 대한 더 큰 규모의 평가를 수행해야 할 동기를 부여합니다.