대규모 비레이블 코퍼스(unlabeled corpora)로 훈련된 파운데이션 모델은 학습 목표를 넘어서는 창발적 능력(emergent capabilities), 즉 과제를 개발합니다. 우리는 이 패러다임을 Bonbon이라는 분자 상호작용을 위한 파운데이션 모델에 확장했으며, Bonbon은 약 3.2조 개의 쌍을 이루는 단백질-리간드 시퀀스 토큰으로 훈련되었습니다.
단일 표현 공간(single representation space)으로부터 Bonbon은 계층적 해상도 수준에서 세 가지 제로샷 창발적 능력을 보여줍니다: 기능적 능력(작용 메커니즘), 잔기 능력(결합 부위 국소화, 오르토스테릭/알로스테릭 판별 포함), 그리고 결합 능력(공유 결합 대 비공유 결합 참여). 이 세 가지 능력 모두 분포 외 복합체(out-of-distribution complexes)에 일반화됩니다. Bonbon은 작업 특이적 감독(task-specific supervision)이나 구조 좌표 없이 단지 단백질-리간드 시퀀스만으로 훈련되었습니다.
우리는 42M에서 1.6B 파라미터까지의 여섯 가지 모델 규모에 걸쳐 제어된 스케일링 실험을 수행했으며, 평가된 모든 능력은 연속적인 지표(continuous metrics)에서 가장 큰 규모에서 급격한 점프를 보였고, 이는 사전 학습 손실(pretraining loss)이 부드럽게 감소하는 상황에서도 마찬가지였습니다. 이는 손실 기반의 스케일링 법칙만으로는 제로샷 창발적 능력이 언제 사용 가능해지는지 예측하기에 불충분함을 입증합니다.
여기서 보고된 능력들은 희소한 쌍을 이루는 생물학적 상호작용 데이터를 수용하기 위해 1:2,000의 파라미터 대 토큰 비율로 훈련된 후에 나타납니다. 동일하게 고정된 표현(frozen representations)은 코-폴딩 방식보다 다섯 배 큰 속도로 최첨단 결합 및 친화도 예측을 달성합니다. 아홉 가지 질병 표적에 걸쳐 일곱 가지 단백질 계열에 대한 전향적인 실험실 검증에서 Bonbon은 디 노보 화합물(de novo compounds)에 대해 61.5%의 용량-반응 히트율을 달성했으며, 이는 이전에 이러한 단백질을 억제하는 것으로 보고되지 않은 구조적으로 새로운 분자를 포함하여 분포 외 표적에 대해서도 그러합니다.