AI 과학자는 그들이 가진 증거만큼만 유능하다: 신약 자산 가치 평가에서 독점 데이터와 추론 능력의 계층적 절제 연구

AI 과학자 에이전트(AI Scientist agents)는 흔히 그 능력이 주로 모델의 품질, 프롬프팅(prompting), 또는 추론 스캐폴딩(reasoning scaffolds)의 함수인 것처럼 평가됩니다. 우리는 신약 자산 가치 평가(drug-asset valuation)에서 다른 가설을 테스트합니다. 즉, 지식 집약적인 과학적 의사결정에서 제한 요인은 종종 에이전트가 접근할 수 있는 증거 기질(evidence substrate)이라는 점입니다. 우리는 실제 운영 중인 가치 평가 에이전트를 대상으로 통제된 3개 그룹 절제 실험(three-arm ablation)을 수행했습니다: A는 일반적인 웹 전용 LLM 분석가이며, B는 공개된 구조화된 도구와 더불어 14차원 가치 평가 플레이북(valuation playbook), 검증기(verifier), 객관성 정책(objectivity policy) 및 레드팀(red-team)을 추가한 모델입니다. C는 여기에 큐레이션된 파이프라인, 임상 시험 및 거래 인텔리전스가 포함된 독점적인 Noah AI 코퍼스(corpus)를 추가한 모델입니다. 13개 자산으로 구성된 계층적 벤치마크(stratified benchmark) 전반에 걸쳐, B는 보정(calibration)과 감사 규율(audit discipline)을 개선했습니다: 범위 내 티어 정확도(tier-in-range accuracy)는 0.80에서 0.89로 상승했고, 객관성(objectivity)은 3.16에서 3.30으로 상승했습니다. 그러나 B는 사실적 한계(factual ceiling)를 제거하지 못했습니다. 능력 상위 집합(capability-superset) 회계 방식에 따르면, A와 B는 큐레이션된 골드 경쟁 기록(gold competitive record)의 0.25와 0.38만을 회복한 반면, C는 0.96을 회복했습니다. 큐레이션된 롱테일(long-tail) 하위 집합에서 C는 0.93에 도달한 반면, A/B는 각각 0.26/0.30에 그쳤습니다. 가공되지 않은 블라인드 패널 의사결정 품질(Raw blind-panel decision quality)은 A와 B가 유사했습니다(7.01 대 6.96). 따라서 우리는 완전성 인지 의사결정 효용(completeness-aware decision utility)을 도입했습니다: 정보 기반 의사결정 품질(informed decision-quality) = 의사결정 품질(decision-quality) × 골드 커버리지(gold-coverage). 이 지표에서 C는 7.43에 도달한 반면, A/B는 1.76/2.57을 기록했습니다. 독점 데이터가 없는 완벽한 보고서라 할지라도 B의 커버리지로 인해 3.83에서 상한선이 결정될 것입니다. 이 결과는 추론 스캐폴딩(reasoning scaffolds)이 중요하지 않다는 뜻이 아닙니다. 그것들은 보정과 규율을 개선합니다. 오히려 독점적 증거가 AI 과학자가 알 수 있고, 따라서 결정할 수 있는 것의 상한선(upper bound)을 설정한다는 것을 의미합니다.