ReproBAIT: 코딩 에이전트가 자체적인 생물학적 AI 도구를 구축할 수 있을까?

대규모 언어 모델(LLM)은 과학 지식과 기존 컴퓨팅 도구를 활용하여 복잡한 워크플로우를 실행하는 데 점점 더 능숙해지고 있습니다. 현재, 이러한 도구에 대한 제한적인 설명만 주어졌을 때 코딩 에이전트가 도구를 재구성할 수 있는 능력에 대해서는 정보가 거의 없습니다. 우리는 ReproBAIT(Reproducing Biological AI Tools)라는 평가를 도입하여, 다양한 정보 접근 조건에서 출판된 연구의 생물학적 AI 도구를 설계하고 구현하며 훈련하는 코딩 에이전트의 능력을 측정합니다. 이 코딩 에이전트는 인터넷 접속이 차단된 안전한 격리 환경(sandboxed)에 있으며, 훈련 데이터, 고정된 시간 및 컴퓨팅 예산, 그리고 복제할 도구에 대한 제한적인 정보를 받습니다. 그런 다음 우리는 보유 데이터(held-out data)에서 그 성능(도구별 지표)을 기반으로 재현된 생물학적 AI 도구의 점수를 매깁니다. 우리는 다양한 복잡성을 가진 일련의 생물학적 AI 도구들, 즉 역(inverse) 단백질 접힘 도구인 ProteinMPNN, 모든 원자 생성 확산 도구인 RFdiffusion3, 그리고 폐쇄형 소스 분자 설계 도구를 평가했습니다. 오픈 소스 도구들은 모델의 사전 훈련 코퍼스에 포함될 가능성이 높기 때문에, 우리는 암기(memorisation) 여부를 확인하는 방법론을 수립합니다. 다양한 선도적인 폐쇄형 및 오픈 소스 코딩 에이전트 전반에 걸쳐, 우리는 일부 선택된 도구들에 대해서는 상당한 재현 능력을 발견했지만, 매우 복잡한 도구에 대해서는 제한적인 능력을 발견했습니다. 우리는 코딩 에이전트에 따라 달라지는 암기와 일치하는 중간 정도의 증거를 발견합니다. 이러한 결과들은 도구 개발자들이 도구에 대한 정보를 공개할 때 점점 더 신중해야 함을 시사하며, 그러한 정보에 기반하여 도구를 재창조하는 것이 도구의 상업적 가치를 훼손하거나 이중 용도 관리 접근 방식(dual-use managed access strategies)을 무효화할 수 있습니다.